Qirong Ho, James Cipar, Henggang Cui, Seunghak Lee, Jin Kyu Kim, Phillip B. Gibbons, Garth A. Gibson, Greg Ganger, Eric Xing http://media.nips.cc/nipsbooks/nipspapers/paper_files/nips26/631.pdf
分散環境ではネットワークのレイテンシーが問題になってパラメータが返ってくるのが遅く、ネットワークがCommunication bottleneckになる。 例えばLDAなどをSynchronousな並列実装を行うと、計算時間の80%以上がネットワークに喰われる。 さらに、分散環境では各ワーカーが平等なパフォーマンスで動くとは限らないため、Synchronousな方法ではスケールさせることが出来ない。 理論サイドではシステムの問題を単純化しすぎてSynchronousなアルゴリズムの研究が多すぎたかもしれない。