Skip to content

Instantly share code, notes, and snippets.

View pochi's full-sized avatar

pochi_black pochi

14 followers · 29 following
View GitHub Profile
@pochi
pochi / rubyGC
Created February 1, 2014 15:20
Ruby 2.1のGCについて、RubyHackingGuideを見ながら理解してみようとしたログ
## Rubyのオブジェクトについて
### オブジェクトの定義
include/ruby/ruby.hにある。
それぞれのクラスの定義を抜粋する。
```ruby
struct RBasic {
VALUE flags;
@pochi
pochi / about_spark.md
Last active August 29, 2015 13:56

Install

  • Install from github.
git clone https://github.com/apache/incubator-spark.git
cd incubator-sparl
./sbt/sbt assembly
@pochi
pochi / about_custom_job.md
Last active August 29, 2015 13:56

Setup

  • move to directory which is installed Spark.

My case is below:

pochi 3:34:58 % cd /opt/local/repos/incubator-spark-1.0.0-beta/incubator-spark
@pochi
pochi / spark_rdd.md
Created February 25, 2014 18:54

Resilient Distributed Datasets(RDD)

この章ではRDDの概要について説明します。 最初はRDD（$2-1）Sparkで利用するプログラムインタフェース($2-2)について説明します。それからメモリの詳細について説明し($2-3)、最後にSparkのモデルの限界($2-4)について議論します。

2-1. RDD概要

RDDは読み込み専用のレコードを分割した集まりです。RDDはオペレーションを通して安定したストレージか他のRDDが作成されます。私たちはこのオペレーションについて他のRDDオペレーションと差別化するためにtransformationsとよびます。例えばmap,filter,joinなどがそれにあたります。

RDDは常に実データを持つ必要はありません。その代わりRDDはストレージのデータからたどれるための情報を持つようにします。これはパワフルな特徴で失敗したあと、再構成できないRDDはプログラムから参照できません。

@pochi
pochi / monitoring.rb
Last active August 29, 2015 14:02
require "rubygem"
require "systemu"
require "fileutils"
record_dir = "/root/records"
FileUtils.mkdir_p(record_dir) if !File.exists?(record_dir)
def ready
result = systemu("netstat -an | grep 8080 | grep -v grep | grep EST | wc -l")[1].chomp
while result.to_i > 80
@pochi
pochi / coreos.md
Created August 1, 2014 05:28
@pochi
pochi / elixir_phoenix.md
Last active August 29, 2015 14:04

Before install

You should install elixir v0.14.2

pochi >>> git checkout a345f11 elixir.rb 
pochi >>> brew install elixir

Install

@pochi
pochi / README.md
Last active August 29, 2015 14:04
About kafka

kafka

kafkaを利用するのに必要なノウハウを記載します。

version

v0.8.1.1

OS

@pochi
pochi / websocket_error_on_jetty.txt
Created August 6, 2014 15:12
java.lang.IllegalArgumentException
at java.nio.Buffer.position(Buffer.java:236)
at sun.nio.ch.IOUtil.write(IOUtil.java:158)
at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:524)
at org.eclipse.jetty.io.ChannelEndPoint.flush(ChannelEndPoint.java:172)
at org.eclipse.jetty.io.WriteFlusher.write(WriteFlusher.java:337)
at org.eclipse.jetty.io.AbstractEndPoint.write(AbstractEndPoint.java:128)
at org.eclipse.jetty.websocket.common.io.FrameFlusher$Flusher.flush(FrameFlusher.java:152)
at org.eclipse.jetty.websocket.common.io.FrameFlusher$Flusher.process(FrameFlusher.java:216)
at org.eclipse.jetty.util.IteratingCallback.processIterations(IteratingCallback.java:233)
@pochi
pochi / License.md
Last active August 29, 2015 14:06
Stuff goes bad