Download User Manual - Advanced HPC

InfiniBand FDR Switch Platform Hardware User Manual
Rev 1.6
Table of Contents
Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Related Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Mellanox Part Numbering Legend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Chapter 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.1 Product Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.1.1 Serial Number and Product Version Information . . . . . . . . . . . . . . . . . . . 12
1.1.2 Management Module MAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.1.3 Product Physical Specifications and Power . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Features List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3 InfiniBand FDR and FDR10 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Chapter 2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1 Installation Safety Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Power Supply Redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1 1000W Power Supply Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2 1600W Power Supply Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3 LED Status Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.1
2.3.2
2.3.3
2.3.4
2.3.5
2.3.6
Power Supply Unit LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Leaf Board LED Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Spine Board LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Spine Side Panel Display LED Indicators . . . . . . . . . . . . . . . . . . . . . . . .
Management Module LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . .
Port Connector Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
24
26
28
30
30
2.4 Air Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.5 QSFP Cable Power Budget Classification. . . . . . . . . . . . . . . . . . . . . . . . 31
2.6 Management Module Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.6.1
2.6.2
2.6.3
2.6.4
2.6.5
I2C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
CONSOLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
MGT– Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
USB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Reset – RST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
32
32
32
32
Chapter 3 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1
3.2
3.3
3.4
3.5
3.6
Environmental and Safety Recommendations . . . . . . . . . . . . . . . . . . . .
Chassis Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Leaf Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Spine Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Management Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Physical Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
35
35
36
36
36
3.6.1 Starting with the Rack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.6.2 ESD Connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.6.3 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Mellanox Technologies
3