Infinibandほしくなったら買いましょう

Infinibandって？

高速転送を可能とするインターコネクト。

高バンド幅、 低レイテンシー、高信頼性、安価という特徴があります。

アダプタ

HCA(ホストチャネルアダプタ)

● Infinihost : PCI-Xの世代のカード

● InfinihostIII Ex: PCI-E デュアルポート SDR/DDR

● InfinihostIII Lx: PCI-E シングルポート SDR/DDR

● ConnectX IB : PCI-E シングルorデュアル DDR/QDR

データレート

SDR(SingleDataRate):10Gbps 実測:8Gbps

DDR(DoubleDataRate):20Gbps 実測:16Gbps

QDR(QuadDataRate) :40Gbps 実測:32Gbps

※データを8b/10b、8bitデータを10bitにエンコードしているため実測が落ちます。

ケーブル 　

Copper(レート/コネクタ/接続距離)

● SDR/CX4/20m

● DDR/CX4/12m

● QDR/QSFP/7mActive Copper

○ QDR/QSFP/15mFiber

● SDR/CX4/300m

● DDR/CX4/150m

● QDR/QSFP/100m

ネットワーク

IBSwitch 同一サブネット内のネットワークを複数接続

IBRouter 別サブネットのネットワークを繋ぐ

SubnetManagerIB同士を接続する際にネットワーク内に一つ必要。

ない場合は通信できません。

IPoIB(IP over IB) IBの通信をIPでカプセル化

RDS(Reliable Datagram Sockets) 　UDPのプロトコル

SDP(Socket Direct Protocol)　　　

TCPのプロトコル

SRP(SCSI RDMA Protocol)　　　　

　IBの通信をSCSIでカプセル化

実装構成

OS Ubuntu12.04LTSCPU AMD A8-3870K 3.0GHz 4Core　　　　

MEM ADATA AX3U1600GC4G9-2G ×4枚

M/B F1A75-MPower KRPW-SS500W/85+

NIC EXPI9301CTIB Infiniband HCA 400Ex-D-GS

(MHGA28-1TC)Case SST-ML03B

Infiniband

※Mellanox

Infinihost III Ex MHGA28-1TCのOEM製品となります。

メーカ VOLTAIRE(ヴォルテール)

型番 HCA 400EX-D-GS

コネクタ DDR ✕2port

バス PCI-E x8Rev A2

インストール

ドライバ

● ubuntu 12.04LTS モジュール搭載● ubuntu 10.04LTS モジュール非搭載

OFEDOpenFabricsにより開発され、LinuxおよびWindows向けに提供されています。オープンソースのソフトウェアであり、幅広いLinuxディストリビューションに対応して

います。

Red Hat Linux(およびCentOS)には標準で含まれています。

ちょっとソースをいじると使えるよ。

実測！

LANケーブル構成

[ ID] Interval Transfer Bandwidth[ SUM] 0.0-10.0 sec 1.11 GBytes 950 Mbits/sec

Infiniband構成

[ ID] Interval Transfer Bandwidth[SUM] 0.0-10.0 sec 13.7 GBytes 11.8 Gbits/sec

・Infiniband　6個　240ドル・ケーブル　　2本　40ドル2万4000円

Intel 10GbE SFP+ Dual PortServerAdapter2個 ケーブル付

き5万円

最後に

最後に

買ったらいいんじゃないかな、Infiniband。

スイッチ誰かお願いします。