rimms

Jubatusプロセス構成パターン

「★」はやること。

(参考) standalone構成

• standalone で利用するユースケースはそもそも無いかもしれなが、プロセスの配置パターンは以下の通り。

client	keeper	server	zookeeper
A : 1	-	A : 1	-
A : N	-	A : 1	-

rimms

• 確認したファイル
  • Jubatus : jubatus.pc.in
  • rpm : SPECS/*.spec.in
  • Client
    • Python : setup.py
    • Ruby : jubatus.gemspec
    • Java : pom.xml

---

rimms

Jubatus と Zookeeperアサンブル の動作確認

事前準備

1. zookeeper のインストール

    $ cd $HOME/local/src
    $ wget http://ftp.riken.jp/net/apache/zookeeper/zookeeper-3.4.4/zookeeper-3.4.4.tar.gz
    $ cd ../
   

$ tar xvfz src/zookeeper-3.4.4.tar.gz

rimms

やりたいこと

外部プロセス操作

• 外部プロセスの起動
  • コマンド一発で deamon 起動すること前提であれば、SSH で十分かな。
  • プロセスごとにラッパーを作るか。
• 外部プロセスの停止(強制停止含む)
  • スクリプト等が無い場合は、kill ですね。
• プロセスごとにラッパーを作るか。

rimms

classifier

• train ... PENDING

  • type: int -> bool?
  • value: size of data (list of tuple of label and datum) -> true?

• classify ... OK

  • type: list<list<estimate_result> >

• get_config ... OK

  • type: string

rimms

standalone mode
===============

$ jubaclassifier -f CONFIGFILE_PATH

CONFIGFILE_PATH is Jubatus's machine learning configuration.
For example, see https://github.com/jubatus/jubatus/tree/develop/src/server/test_input .
A new key "parameter" was added for each algorithm (some algorithm has no parameter).

rimms

これまでの議論と 進め方 などのまとめ

Jubatus において状態書出/読込機能が必要となるユースケース

save/load という既存機能に関わらず、状態書出/読込機能が必要とされるケースを列挙する。必ずしも、状態書出/読込で実現する必要はない。

1. 「誤ったデータを学習させた」などのオペレーションミスへの対策

rimms

[1] Format of File

Ideas:

• pfi::data::serialization (currently using)
• MessagePack
• Protocol Buffer
• Thrift
• Avro

rimms

Backup and Recovery

Jubatus サーバは、メモリ上で機械学習に関するデータを管理しています。 メモリ上でデータを管理するという性質上、Jubatusサーバプロセスの終了とともに Jubatus 上のデータは失われます。

Jubatus では、予期せぬプロセスの終了や誤ったオペレーションに備え、バックアップとリカバリのための機能を提供しています。

現在、Jubatus では、以下の手段を提供しています。

rimms

00000000  6a 75 62 61 74 75 73 01  00 00 00 04 00 03 00 e8  |jubatus.........|
00000010  01 00 00 00 00 00 00 0a  5f 21 13 95 01 ce 51 6f  |........_!....Qo|
00000020  8b 03 aa 63 6c 61 73 73  69 66 69 65 72 a4 74 65  |...classifier.te|
00000030  73 74 da 01 ce 7b 0a 20  20 22 6d 65 74 68 6f 64  |st...{.  "method|
00000040  22 3a 20 22 41 52 4f 57  22 2c 0a 20 20 22 63 6f  |": "AROW",.  "co|
00000050  6e 76 65 72 74 65 72 22  3a 20 7b 0a 20 20 20 20  |nverter": {.    |
00000060  22 6e 75 6d 5f 66 69 6c  74 65 72 5f 74 79 70 65  |"num_filter_type|
00000070  73 22 3a 20 7b 7d 2c 0a  20 20 20 20 22 6e 75 6d  |s": {},.    "num|
00000080  5f 66 69 6c 74 65 72 5f  72 75 6c 65 73 22 3a 20  |_filter_rules": |
00000090  5b 5d 2c 0a 20 20 20 20  22 73 74 72 69 6e 67 5f  |[],.    "string_|