Download User Manual - Advanced HPC

InfiniBand FDR Switch Platform Hardware User Manual
Rev 1.5
Table of Contents
Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Related Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Mellanox Part Numbering Legend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Chapter 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.1 Product Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.1.1 Serial Number and Product Version Information . . . . . . . . . . . . . . . . . . . 12
1.1.2 Management Module MAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.1.3 Product Physical Specifications and Power . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Features List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3 InfiniBand FDR and FDR10 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Chapter 2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1 Installation Safety Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Power Supply Redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 1000W Power Supply Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 1600W Power Supply Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 LED Status Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1
2.3.2
2.3.3
2.3.4
2.3.5
2.3.6
Power Supply Unit LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Leaf Board LED Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Spine Board LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Spine Side Panel Display LED Indicators . . . . . . . . . . . . . . . . . . . . . . . .
Management Module LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . .
Port Connector Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
24
25
27
29
29
2.4 Air Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5 QSFP Cable Power Budget Classification. . . . . . . . . . . . . . . . . . . . . . . . 30
2.6 Management Module Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6.1
2.6.2
2.6.3
2.6.4
2.6.5
I2C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
CONSOLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
MGT– Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
USB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Reset – RST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
31
31
31
31
Chapter 3 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1
3.2
3.3
3.4
3.5
3.6
Environmental and Safety Recommendations . . . . . . . . . . . . . . . . . . . .
Chassis Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Leaf Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Spine Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Management Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Physical Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
34
35
35
35
35
3.6.1 ESD Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.6.2 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.6.3 Installing the Cable Holder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Mellanox Technologies
3