Skip to content

Instantly share code, notes, and snippets.

View rimms's full-sized avatar

IMAMASU Ryohei rimms

14 followers · 9 following
  • Tokyo, Japan
View GitHub Profile
@rimms
rimms / anomaly.md
Last active April 19, 2017 12:47
get_status for anomaly

lof and light_lof

  • max_id: current max value of id in storage (useful to understand next id)
  • num_ignored: the number of ids that were ignored by ignore_kth_same_point
  • unlearner's status: See jubatus/jubatus_core#166

lof

  • num_id_master: number of ids in lof_storage::_lof_table
  • num_id_diff: number of ids in lof_storage::_lof_table_diff
@rimms
rimms / debug.xml
Created August 3, 2016 02:59
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
<log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/" >
<appender name="stdout" class="org.apache.log4j.ConsoleAppender">
<param name="Target" value="System.out" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d %X{tid} %-5p [%F:%L] %m%n" />
</layout>
</appender>
@rimms
rimms / gist:c30548fa60113474633d
Last active August 29, 2015 14:15
Exception policy of JubaProxy

Exception policy of JubaProxy

Policy

  • 通信先の Server のいずれかから例外(アプリケーション例外、通信レイヤの例外)が返却された場合は、Client へ例外を返却する。
  • Client に返却する例外は、通信先から返却された例外のうち、最もはじめに発生した例外を返却する。
    • ただし、以下のような通信レイヤの例外は、ユーザー(Client)がハンドリングする可能性が高いので、発生した場合にはアプリケーション例外よりも優先的に返却する。
      • リクエストタイムアウト
      • 接続失敗
      • Server からの接続破棄
@rimms
rimms / bin.json
Created September 4, 2014 05:04
NN_with_idf
{
"converter" : {
"string_filter_types": {},
"string_filter_rules":[],
"num_filter_types": {},
"num_filter_rules": [],
"string_types": {
"unigram": { "method": "ngram", "char_num": "1" }
},
"string_rules":[
@rimms
rimms / test.py
Created March 27, 2014 11:51
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import subprocess
from jubatus.common import Datum
from jubatus.recommender import client
NAME = "test";
PORT = 9199
@rimms
rimms / gist:9107551
Last active August 29, 2015 13:56
Proxyの現状の動作と仕様変更(案)

現状の動作

Proxy-Server間のタイムアウト

  • Proxy から Server の通信処理(全体)が、 interconnect_timeout を超えると、 msgpack::rpc::TIMEOUT_ERROR を返却する。
    • ある Server との通信でタイムアウトが発生したというのは、異なる意味付け。「Proxy 処理(転送手続き)のタイムアウト」という意味になっている。
    • 本タイムアウトが発生した場合は、結果受付中の通信をすべてキャンセルする。
@rimms
rimms / gist:8434705
Created January 15, 2014 11:36
get_status_example

standalone mode

{'xx.x.xxx.xxx_9199': {'PROGNAME': 'jubaclassifier',
                       'RSS': '5488',
                       'SHR': '4684',
                       'VERSION': '0.5.0',
                       'VIRT': '243352',
                       'clock_time': '1389784846',
                       'configpath': 'config/classifier/arow.json',
@rimms
rimms / 01_improve_get_status.rst
Last active December 29, 2015 14:59
get_status拡張
@rimms
rimms / 01_intro.rst
Last active December 28, 2015 15:59
スタンドアロンモード冗長化構成 運用上の注意点

下図のようなスタンドアロンモードを冗長化した運用環境を想定した際に、発生しうる事象と回避策を明文化する。

スタンドアロン冗長化構成にて運用する目的

  1. 可用性・耐障害性性の向上
    • Jubatus を冗長化させることによる障害発生時のサービス停止に対する信頼性の向上
  2. トラフィックの負荷分散
@rimms
rimms / 01_summary.rst
Last active December 27, 2015 01:29
異常処理方針