gistfile1.txt

Infiniband Day 06
2/1 Fri @ bitisle 

* プログラム　15:00～開始 (各20分)

* 開催のご挨拶と市場動向の報告　・さくらインターネット株式会社　　

* How To Install OFED Linux/VMware/Windows　・さくらインターネット株式会社　　
- 実はLoop freeでない
- VMwareではInfiniband対応するがVMにはEthernetドライバとして見える
- 2M pps

* インテルが考える次世代ファブリック　・インテル株式会社
- Reliable DiagramだけどConnection Lessにする。
  - HCAのリソースで制限されなくなる。
  - パケットの生成はホスト側CPUでする。今PCIeがボトルネック。
- Performance Scaled Messaging レイヤ
  - MPIとデバイスドライバを結ぶレイヤ
- データセンタ・ファブリックの挑戦

* 低遅延Ethernetとファブリックによるデータセンタネットワーク　・ブロケード コミュニケーションズ システムズ株式会社
菊池さん

BrocadeのシェアethernetとFCそれぞれ+30%成長

- VCS
  - 自律動作
  - マルチパス TRILL
  - SDN/Unified
- SAN は必要か?
  - FC はすごい売れてる。仮想化、統合で最終的には共有ストレージに SAN が必要。
- SDN とりわけOpenFlow
  - north bound APIが標準化されたらEthernet or Infinibandは議論しなくてよくなるかも?
- 32G FCは2016年かなぁ？

* RDMA for Windows Server 2012　・メラノックス テクノロジーズ ジャパン株式会社
津村さん

- mellanoxがIBとEthernetを混在させるのはやはり住み分けだから
- SSDの性能を損なわない
- device減らすのはコストを減らすのによい。
- CSVとSMB Direct組み合わせる


* InfiniBandで構築する ちょっと高可用なHyper-V VMクラスタ ～ Windows Server 2012 対応 ～　・株式会社ネクスト 技術基盤本部 リッテル研究所
太田さんの代理の中塚さん

不動産のポータル HOME/ロココム やってる会社

- ホストメンテナンス
  - 2008 Hyper-V 1.0ではVMをとめてメンテナンス。Live Migrationなかった。
- Hyper-V 2.0
  - SCSIコマンドの要件きびしい
- Windows ServerでiSCSIターゲット/SMB3.0で共有ストレージ
  - 400kくらいのマシンで組む
- Live Migraionに時間がかかるのでGbEからInfiniband QDRに
- Hyper-V Replica
  - VMは1台くらい死んでもいいよね
  - いざとなったらVMのイメージをInfinibandで転送する
- 実際の使い道
  - 1億PV/20億Session 1月で60GBのapacheログで解析
  - 1ラック
  - AMQP/rabbit mp/gluster FS
  - Gluster FSはマルチユーザ性ひくい
  - ethernet -> IB で処理時間1/4。おそろしく安くなってるはず。
  - 母艦6台、1U、全部で350万。


* グリーでのInfiniBand利用例　・グリー株式会社
一井さん

ログ集計屋さん

- ログファイルとの戦い
  - Page View増加中 日々増える。1日1TB。
  - cat / grep / wc -l
  - 中間の統計情報を利用するのにMySQL使う relation よりも b-tree index ほしい
  - ディスク容量とI/Oのたたかい
- ZFSとの出会い
  - Sun Fire X4500/X4540 48x SATA HDD
  - 2010年頃EOLになった
- 次どうする？
  - ZFS使い続けたい。80TB/台では足りない。
  - 外付けのストレージにしたいが、ネットワークどうする？
- Infinibandとの出会い
- SunZFSSA 7420C
  - SAS x500+
  - 1PB ZFS base
  - OSはさわれない。アプライアンスなので。
  - 専用ストレージの容量に、ローカルディスクに負けない速度でアクセスしたい
  - 仮想化・集約・マルチテナント・共有ディスクではない。アプリケーションでなんとかできる。
  - すんなり動きすぎる
  - レイヤが多すぎるので障害時に切り分け難しい。

* Intel True Scale Fabric　・東京エレクトロン デバイス株式会社

- TEDはIntelとディストリビューション契約を締結。
- IntelがQLogic買ったので。

- Edge Switch QDR 40Gb/s

* ビジネス向けIB ネットワークを考える　～HPCクラスタでの経験を踏まえて～　・株式会社富士通研究所
中島さん

- mesh構造はdead lockする
- fullmeshだとデッドロックしない

* シーサーでのInfiniBand導入事例　・シーサー株式会社

- フロントがXenサーバ、ストレージがSL。
- SRP SANでマルチパス冗長化
- iSCSI on IPoIB スループットが出るが、ランダムIOはSRPより出ない。

* InfiniBandストレージの導入事例とお楽しみプレゼント発表　・株式会社ニューテック
独立系ストレージのベンダ

- 導入事例
  - 国内製造業 情報通信機械器具
    - FrontendはGbE/10GbEで、ストレージ間のレプリケーション・バックアップをInfinibandで組むことが多い
    - DRBD Replication
  - 国内製造業 印刷業
    - Oracle Fablic Interconnect FL15(旧xsigo)
    - vNICでSwitch-ストレージサーバ間を接続
  - 国内国立大学
    - iSCSIターゲットにJBOD、フロントエンドのサーバとの間がInfiniband
    - フロントエンドのサーバとWindows Clientの間はCIFS/GbE
  - 研究機関  気象なんとかさんとか宇宙なんとかさんとか
    - writeの性能が要求される。マルチのシーケンシャルが重要
    - GPGPUサーバならべる。
    - 共有ディスクとしてramsan710。GPGPUサーバとの間がSRP
  - 国内研究機関
    - xsigoのSwitch