User Manual
Table Of Contents
- Mellanox WinOF VPI User Manual
- Table of Contents
- List of Tables
- Document Revision History
- About this Manual
- 1 Introduction
- 2 Driver Features
- 3 Deploying Windows Server 2012 with SMB Direct
- 4 Driver Configuration
- 5 Performance Tuning
- 6 OpenSM - Subnet Manager
- 7 InfiniBand Fabric
- 7.1 Network Direct Interface
- 7.2 part_man - Virtual IPoIB Port Creation Utility
- 7.3 InfiniBand Fabric Diagnostic Utilities
- 7.4 InfiniBand Fabric Performance Utilities
- 7.4.1 ib_read_bw
- 7.4.2 ib_read_lat
- 7.4.3 ib_send_bw
- 7.4.4 ib_send_lat
- 7.4.5 ib_write_bw
- 7.4.6 ib_write_lat
- 7.4.7 ibv_read_bw
- 7.4.8 ibv_read_lat
- 7.4.9 ibv_send_bw
- 7.4.10 ibv_send_lat
- 7.4.11 ibv_write_bw
- 7.4.12 ibv_write_lat
- 7.4.13 ibaddr
- 7.4.14 ibcacheedit
- 7.4.15 iblinkinfo
- 7.4.16 ibqueryerrors
- 7.4.17 ibsysstat
- 7.4.18 perfquery
- 7.4.19 saquery
- 7.4.20 smpdump
- 8 Software Development Kit
- 9 Troubleshooting
- 10 Documentation
Rev 4.3
Mellanox Technologies
4
3.3.1 Verifying SMB Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.2 Verifying SMB Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Verifying SMB Events that Confirm RDMA Connection . . . . . . . . . . . . . . . . . 30
Chapter 4 Driver Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1 Configuring the InfiniBand Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.1 Modifying IPoIB Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.2 Displaying Adapter Related Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2 Configuring the Ethernet Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Chapter 5 Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1 General Performance Optimization and Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1.1 Registry Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1.2 Enable RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1.3 Tuning the IPoIB Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1.4 Tuning the Ethernet Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.2 Application Specific Optimization and Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.1 Ethernet Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.2 IPoIB Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.3 Tunable Performance Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Chapter 6 OpenSM - Subnet Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Chapter 7 InfiniBand Fabric . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7.1 Network Direct Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7.2 part_man - Virtual IPoIB Port Creation Utility . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7.3 InfiniBand Fabric Diagnostic Utilities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7.3.1 Utilities Usage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
7.3.2 ibdiagnet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
7.3.3 ibportstate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.3.4 ibroute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
7.3.5 smpquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
7.3.6 perfquery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
7.3.7 ibping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
7.3.8 ibnetdiscover . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
7.3.9 ibtracert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
7.3.10 sminfo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
7.3.11 ibclearerrors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7.3.12 ibstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7.3.13 vstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.3.14 osmtest. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.4 InfiniBand Fabric Performance Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
7.4.1 ib_read_bw . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
7.4.2 ib_read_lat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
7.4.3 ib_send_bw . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
7.4.4 ib_send_lat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7.4.5 ib_write_bw. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.4.6 ib_write_lat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.4.7 ibv_read_bw . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82