JJUG CCC fall

gistfile1.md

#JJUG CCC fall

分散データ技術の再考

• 最近のBiｇDataトレンド
  • lamda architecture
    • CEP等
      • On-memory OLTPが出てくれば置き換わるのでは
    • in-memory data model
  • work load ごとの multi tenant化(mesos , yarn等)
    • OLTPもこのplatform上に乗るのが自然な流れ
    • HDFS上でOLTPを動作させるのは限界があるので、技術的な置き換えがおこるのでは
  • in-memory database
    • on-memoryではリソースの限界が…
    • ログは…
    • 複製データとの同一性の保証
      • ネットワーク遅延等
      • concurency control
  • ハードウェアの進化
    • SSD / infinibandのような高速ネットワーク機器
• いくつかの先進事例についてのコメント
  • アーキテクチャの革新
    • N-tierモデルはもうダメ
  • プログラミングモデルの革新
    • クラウド上の問題を抽象化して解決できる言語が必要
  • 分散、データモデル統合
    • anti-caching(データが更新されたらキャッシュクリア)等
  • ハードウェアの技術革新
• トランザクションの課題
  • NoSQLでは可用性の向上のためにトランザクションを捨てている
    • しかしトランザクションは大事。これを軽視すると淘汰される
  • NewSQL
    • http://en.wikipedia.org/wiki/NewSQL
• Paxos
  • http://en.wikipedia.org/wiki/Paxos_(computer_science)
• transaction serializability
  • strong consistency と serializability
    • 同時実行を許容するがデータの同一性を保証するのがserializability
  • snapshot isolation
    • http://en.wikipedia.org/wiki/Snapshot_isolation
    • http://d.hatena.ne.jp/okachimachiorz/20130331/1364709005
• 地球規模のデータベース
  • geo replication
  • parallel snapshot isolation "walter"
    • http://research.microsoft.com/en-us/people/aguilera/walter-sosp2011.pdf
  • causal consistency
    • http://en.wikipedia.org/wiki/Causal_consistency
  • spanner
    • paxos & 2 phase commitment (on geo clock)
    • bigtable - paxos - 2PC
  • HAT
    • http://www.bailis.org/blog/hat-not-cap-introducing-highly-available-transactions/