rummelonp

Ruby の HTTP クライアントライブラリ Faraday が便利そう

Ruby の HTTP クライアントライブラリ Faraday が便利そう

API ラッパの開発には [RestClient gem][rest_client_gem] だとか
OAuth の必要なものは [Net/HTTP][net_http] + [OAuth gem][oauth_gem] を使ってた

[Twitter gem][twitter_gem] や [Instagram gem][instagram_gem] など API ライブラリのソースを読んでみると
[Faraday gem][faraday_gem] というものがよく使われてた

jboner

Latency Comparison Numbers (~2012)
----------------------------------
L1 cache reference                           0.5 ns
Branch mispredict                            5   ns
L2 cache reference                           7   ns                      14x L1 cache
Mutex lock/unlock                           25   ns
Main memory reference                      100   ns                      20x L2 cache, 200x L1 cache
Compress 1K bytes with Zippy             3,000   ns        3 us
Send 1K bytes over 1 Gbps network       10,000   ns       10 us
Read 4K randomly from SSD*             150,000   ns      150 us          ~1GB/sec SSD

beam2d

ノード追加削除時の各アルゴリズムで予想される挙動まとめ

概要

本文書では， Jubatus のノードがクラッシュしたり追加されたりしたときに， 各アルゴリズムが ANALYZE および UPDATE の処理を続けられるかどうかについて述べる．

概観

unnonouno

新 generator 実装方針

概要

generator は以下の機能を目的としている。

rimms

これまでの議論と 進め方 などのまとめ

Jubatus において状態書出/読込機能が必要となるユースケース

save/load という既存機能に関わらず、状態書出/読込機能が必要とされるケースを列挙する。必ずしも、状態書出/読込で実現する必要はない。

1. 「誤ったデータを学習させた」などのオペレーションミスへの対策

unnonouno

Jubatusコード規約

原則 Google C++ Style Guide に従います。 但し、以下の点に関して差分があります。

なお、外部から導入された jubatus/server/third_party 以下のファイルは対象外です。

y-oda-oni-juba

v0.3.4
build/rpc-bench --host 192.168.1.59 --port 9001 --query 1000 --thread 1
#thread: 1
total query: 1000
total time(msec): 92120.9
query/sec: 10.8553
latency(msec): 92.1198
build/rpc-bench --host 192.168.1.59 --port 9001 --query 1000 --thread 1
#thread: 1
total query: 1000

kmaehashi

RPC 関連の課題整理

• Jubatus サーバのタイムアウト機能を使用したくないユーザ (--timeout 0) の救済方法を検討する

  • 解決策: クライアントから close できるインタフェースを用意する (Jubatus クライアントを修正)
    • https://gist.github.com/kmaehashi/ab51ae3232e2bb092ad8

• Jubatus サーバのタイムアウト機能を使用したいユーザの救済方法を検討する

  • サーバから timeout で自動切断(サーバから TCP FIN パケット送信)された後に RPC メソッドを呼んだ際に RPC エラーが起きるのが不親切 (C++/Python/Ruby のみ)

• 解決策の案(松): サーバから受け取った FIN リクエストを正しくハンドリングするように修正 (msgpack-rpc ライブラリを修正)

yuitowest

Vagrantの最新版をインストール

• http://downloads.vagrantup.com/
• v1.1.5(現時点最新)をダウンロードしてインストール
• OSXなのでVagrant.dmg
• インストール確認

$ vagrant -v
Vagrant version 1.1.5

rimms

Backup and Recovery

Jubatus サーバは、メモリ上で機械学習に関するデータを管理しています。 メモリ上でデータを管理するという性質上、Jubatusサーバプロセスの終了とともに Jubatus 上のデータは失われます。

Jubatus では、予期せぬプロセスの終了や誤ったオペレーションに備え、バックアップとリカバリのための機能を提供しています。

現在、Jubatus では、以下の手段を提供しています。