najeira

GrowthForecast

How to setup GrowthForecast.

see: http://kazeburo.github.io/GrowthForecast/

yum

sudo yum update

najeira

package main

import (
	"database/sql"
	"errors"
	"fmt"
	_ "github.com/go-sql-driver/mysql"
	"log"
)

najeira

# -*- coding: utf-8 -*-
import os
import datetime
import jinja2
import webapp2
from google.appengine.api import users
from google.appengine.ext import ndb

class Page(ndb.Model):
  title = ndb.StringProperty(indexed=False)

najeira

GoでKinesis用ライブラリを作るメモ

Writer

Kinesisにデータを送るクラス。

コネクションは呼び出し側で作成してもらう。 それを引数にしてWriterを生成する。

Addメソッドで行を追加していく。

najeira

in_httpを作りたい。

処理の流れを追ってみる。

インスタンス化

AddPluginでファクトリを登録する。 ikはファクトリのNewを呼び出してプラグインを生成する。 このNewでik本体と設定が渡される。

najeira

## 課題

現在の実装では、送信 `f.conn.Write` の間はロックを獲得しているので、バッファ `pending` への書き込みをブロックする。ネットワークの送信は時間がかかるので、書き込みのパフォーマンスも出ない。

## 対策

Write ではロックを獲得しないようにする。
Write の前に送信するバッファを取得し、書き込み側が違うバッファを使うように差し替える。
また、Write 自体も別のgoroutineで実施する（そうでないと、ロックを回避したのに結局ブロックする）。

najeira

# -*- coding: utf-8 -*-

import urllib
import urllib2
import time

MASTER_SERVER = '127.0.0.1'
PAGE_FORMAT = 'http://%s/mediawiki/index.php/%s'

TARGETS = [

najeira

import struct, base64

def long_to_str(value):
  value = struct.pack('q', value)
  value = base64.urlsafe_b64encode(value)
  value = value.rstrip('=')
  value = value.rstrip('A')
  return value

najeira

class QueryIterator(object):

  def __init__(self, query, limit=None):
    self.limit = limit
    self.count = 0
    if limit:
      config = datastore_query.QueryOptions(limit=limit, prefetch_size=limit)
    else:
      config = None
    self.iterator = query.run(config=config)

najeira

from google.appengine.ext import db

class Foo(db.Model):
  pass

class Bar(db.Model):
  foo = db.ReferenceProperty(Foo)

Bar.foo.get_value_for_datastore(bar_obj) #=> Key of Foo