Skip to content

Instantly share code, notes, and snippets.

View hido's full-sized avatar

Shohei Hido hido

57 followers · 0 following
  • Tokyo, Japan
View GitHub Profile
@hido
hido / presen.rst
Last active August 29, 2015 14:07
JubatusハッカソンDemo順序
  1. 和布蕪
  2. 草々
  3. 大杉さん
  4. dera
  5. gau
  6. Hi-king
  7. 大友翔一(@GeoJackass)
  8. ijust3
  9. 小林拓
  10. Paper
@hido
hido / enable-mecab.rst
Created October 3, 2014 21:49
Enable mecab plugion on Jubatus 0.6.3 AMI

> sudo apt-get install pkg-config liblog4cxx10-dev > git clone git@github.com:jubatus/jubatus > cd jubatus > ./waf configure --prefix=/opt --enable-mecab > ./waf build > sudo ./waf install

@hido
hido / Jubatus0.6.1release
Created July 22, 2014 10:35
Jubatus 0.6.1 Release ML message
Hi Jubatus guys,
We are excited to announce that Jubatus 0.6.1 has been released.
One big news is that OS X Mavericks is now officially supported thanks to @gwtnb's continuous effort. Mavericks users can easily install jubatus using homebrew.
It also contains some imporovements and bug fixes.
--------------------------
@hido
hido / gist:7847560
Last active December 30, 2015 15:19
世界一速いStale Synchronous Parallel Parameter Server論文の発表メモ

More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server

Qirong Ho, James Cipar, Henggang Cui, Seunghak Lee, Jin Kyu Kim, Phillip B. Gibbons, Garth A. Gibson, Greg Ganger, Eric Xing http://media.nips.cc/nipsbooks/nipspapers/paper_files/nips26/631.pdf

分散環境ではネットワークのレイテンシーが問題になってパラメータが返ってくるのが遅く、ネットワークがCommunication bottleneckになる。 例えばLDAなどをSynchronousな並列実装を行うと、計算時間の80%以上がネットワークに喰われる。 さらに、分散環境では各ワーカーが平等なパフォーマンスで動くとは限らないため、Synchronousな方法ではスケールさせることが出来ない。 理論サイドではシステムの問題を単純化しすぎてSynchronousなアルゴリズムの研究が多すぎたかもしれない。

@hido
hido / gist:7080885
Last active December 26, 2015 02:48
Jubatus java-new-client test on Mac OS X

環境

  • OS
    • Mac OS X 10.7.5 (Lion)
  • Java
    • Oracle JDK 7 Update 45 (for Mac OS X 64bit)