Skip to content

Instantly share code, notes, and snippets.

View AKB428's full-sized avatar
🥳
Out sick

AKB428 AKB428

🥳
Out sick
57 followers · 42 following
View GitHub Profile
@AKB428
AKB428 / PageRanking_GraphX
Created June 3, 2015 09:39
ページランクアルゴリズムを利用したフォロー・フォロワーのランクづけ
This file has been truncated, but you can view the full file.
Multiple main classes detected, select one to run:
[1] Sample1
[2] Sample2
[3] Sample3
[4] TwitterFollowerScoreRanking
Enter number: 4
[info] Running TwitterFollowerScoreRanking
@AKB428
AKB428 / book.md
Last active August 29, 2015 14:22
Spark研究参考書籍一覧

Google BigQueryで始めるビッグデータ処理入門

  • ２章巨大データを扱うシステム
  • 2.3.2 形態素解析を使用した日本語ワードカウント
@AKB428
AKB428 / SearchMain.java
Last active August 29, 2015 14:22
Spark + kuromoji + D3.js で 簡単に「NHKつぶやきビッグデータ」を作る ref: http://qiita.com/AKB428/items/12118d1d28b9e067296a
TwitterStream twitterStream = new TwitterStreamFactory().getInstance();
twitterStream.setOAuthConsumer(twitterModel.getConsumerKey(),
twitterModel.getConsumerSecret());
twitterStream.setOAuthAccessToken(new AccessToken(twitterModel
.getAccessToken(), twitterModel.getAccessToken_secret()));
// MyStatusAdapterクラスでTwitterのStatusクラスを処理する
twitterStream.addListener(new MyStatusAdapter(applicationConfParser, bufferedWriter));
ArrayList<String> track = new ArrayList<String>();
track.addAll(Arrays.asList(Application.searchKeyword.split(",")));
@AKB428
AKB428 / set mem
Created June 2, 2015 08:30
Spark が sbtアウトオブメモリになるとき　メモリのふやしかた
sbt -mem 10000 (10G)
@AKB428
AKB428 / inazuma.log
Last active August 29, 2015 14:22
9,920,199 行のTwitterテキストデータをSparkCoreで解析し単語をカウントしたログ Intel(R) Xeon(R) CPU E5-2660 v3 @ 2.60GHz 24-Core:VPS
[mnt]# wc -l ./data/20150405_182615.cl.txt
9920199 ./data/20150405_182615.cl.txt
sbt
run ../../data/20150405_182615.cl.txt ./dictionary/anime_2015_2Q.txt 100
15/06/02 16:21:01 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/kill,null}
15/06/02 16:21:01 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/,null}
15/06/02 16:21:01 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/static,null}
@AKB428
AKB428 / file0.txt
Last active August 29, 2015 14:22
QEMUの脆弱性 CVE-2015-3456(VENOM)対策で勝手にVM Shutdown設定をしてるVPSではH2DBが書き込めなくなっている。 ref: http://qiita.com/AKB428/items/4ea39beca2a1e1b454d4
org.h2.jdbc.JdbcSQLException: データベースはすでに閉じられています (VM終了時の自動データベースクローズを無効にするためには、db URLに ";DB_CLOSE_ON_EXIT=FALSE" を追加してください)
Database is already closed (to disable automatic closing at VM shutdown, add ";DB_CLOSE_ON_EXIT=FALSE" to the db URL) [90121-180]
@AKB428
AKB428 / file0.txt
Last active August 29, 2015 14:22
ConoHaのCentOS7インスタンスにGNOMEを入れてラブライブ！壁紙+透過シェルを構築する ref: http://qiita.com/AKB428/items/1fffd366fb297c47ba5f
yum -y groups install "GNOME Desktop"
startx
@AKB428
AKB428 / RDD仕様
Created May 29, 2015 02:17
RDD仕様
http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf
http://www.cs.berkeley.edu/~matei/papers/2011/tr_spark.pdf
http://www.cs.berkeley.edu/~matei/papers/2010/hotcloud_spark.pdf
@AKB428
AKB428 / file0.txt
Created May 27, 2015 07:14
CentOSでLinuxカーネルヘッダー違いでVirtualBox DKMS 起動がこける時の対応 ref: http://qiita.com/AKB428/items/13875eb2a09601c71698
[root@~]# service vboxdrv setup
Stopping VirtualBox kernel modules [ OK ]
Uninstalling old VirtualBox DKMS kernel modules [ OK ]
Trying to register the VirtualBox kernel modules using DKMSError! echo
Your kernel headers for kernel 3.10.0-229.el7.x86_64 cannot be found at
/lib/modules/3.10.0-229.el7.x86_64/build or /lib/modules/3.10.0-229.el7.x86_64/source.
[FAILED]
(Failed, trying without DKMS)
Recompiling VirtualBox kernel modules [FAILED]
(Look at /var/log/vbox-install.log to find out what went wrong)
@AKB428
AKB428 / cdh54install
Last active August 29, 2015 14:21
newConoHaにCDH5.4VMインストール
コントロールパネルのコンソールから
# yum -y groups install "GNOME Desktop"
startx
日本語を選択
デスクトップ起動
OracleのサイトからVirtualVm RPMインストール
CDHのVMをインストール