penguinco

twitter検索(yats)のメモ：
15億つぶやきを日付ソートで検索(100万req/日 solr response avg:170ms)

以下の構成が4セット。1億件ずつプロセスを切ったJavaプロセスが起動している。（合計15〜20プロセス）
CPU 4core / SSD 160GB / mem 8-16GB
高頻度に更新される一部のプロセスのみmaster/slaveになっていて参照をslaveに寄せている。
swapしない限りはプロセスが落ちることはほぼない。最も長いプロセスは3ヶ月以上？
こんなスクリプトで起動と終了を管理してる。
http://daveelkins.com/2009/01/13/setting-solr-as-a-daemon-and-monitoring-with-god/

penguinco

from django import template
from django.utils.safestring import mark_safe
import re
register = template.Library()

prefix = ["http://twitpic.com/"]

reTwitpic = re.compile("\w*http:\/\/twitpic.com\/(\w+)")

@register.filter

penguinco

# -*- coding: utf-8 -*-

import sys
import urllib
import oauth2 as oauth

following_url  = 'http://twitter.com/statuses/friends.json'

consumer_key = ''
consumer_secret = ''

penguinco

#bofore
sql = "select user,image from users where user in ('%s')" % "', '".join(usernames.keys())
cur.execute(sql)
for x in cur.fetchall():
    users[x[0]]=x[1]

#after
import redis
rds = redis.Redis(host='localhost', port=PORT, db=1)

penguinco

# warning! this command stop/start rabbitmq-server.
# with no confirmation and approval...!
sudo apt-get install ejabberd

penguinco

2009/12/14
## レシピ
+ 水に昆布を入れて沸騰する直前で出す
+ 削り節を入れて沸騰させたら濾して鍋を変える
+ 醤油、みりん、砂糖、鷹の爪少々で味を整える
+ 切った大根を鍋に入れ、1時間煮る
 + その間に卵をゆでる
+ ゆで卵、こんにゃくを鍋に
+ 30分煮る
+ さつま揚げなどを鍋に

penguinco

# -*- encoding: utf-8 -*-
import urllib2
import json
from lxml import etree
import time
import memcache

mc = memcache.Client(["localhost:11211"])

class MemcacheError(Exception):