2012年頃2chのInfiniBandのスレがささやかに盛り上がったことがありました。私もそれに乗ってしばらくhomelabの実験を楽しみました。ターゲットはFreeBSDまたはCentOSで構成してホストはhypervisior ESXiの直結でした。プロトコールはIPoIBとSRP、HCAはebayから中古でSDRなHCAを購入しました。その後HCAはConnect-XのQDRまで上げていきました。メモリレベルでInfinihostでもGbEの5倍、Connect-Xではさらに速い転送速度が出たことを覚えています。ストレージが低速なのでGbEで十分ってことではありますが夢を抱かせるというか、あたかもローカルのストレージと同等のスピードが出るので感動したものでした。
その後VMware ESXiのHCLからConnect-Xが外れました。OFEDでもSRPに関してはEOLな様相で継続するかどうか悩んでいました。FDRなHCAは高額だったし先行き感からHCAの更新はしませんでした。ESXi6.0に工夫して運用されている報告もありますが、ESXi7.0ではConnect-Xは使用できません。2016年にCentOS7にSRP (LIO + ZFS)で再構成して現在に至っています。SCSTよりLIOの設定の方が楽だったかな。WD社のEZEX1TBx4をraid10の構成ですが安定しています。一時は数か所にInfiniBandな環境を作っていましたが現在は１か所になりました。ストレージもローカルのSSDでいいかなと思う今日この頃です。備忘録として残しておきます。