AKB428

Siori@Siori-no-MacBook-Air:~/code/git_akb428/chino (master)$ brew install iftop
==> Downloading http://www.ex-parrot.com/pdw/iftop/download/iftop-1.0pre4.tar.gz
######################################################################## 100.0%
==> ./configure --prefix=/usr/local/Cellar/iftop/1.0pre4 --mandir=/usr/local/Cellar/iftop/1.0pre4/share/man
==> make install
==> Caveats
iftop requires superuser privileges. You can either run the program
via `sudo`, or change its ownership to root and set the setuid bit:
$ sudo chown root:wheel /usr/local/Cellar/iftop/1.0pre4/sbin/iftop
$ sudo chmod u+s /usr/local/Cellar/iftop/1.0pre4/sbin/iftop

AKB428

#!/bin/sh
#nico.jarについては https://github.com/AKB428/Nico を参照
java -jar nico_jvm7.jar "project_ssf,世界征服～謀略のズヴィズダー,sekaiseifuku,nisekoi_k,ニセコイ,nisekoi,naginoasukara,凪のあすから,nagiasu,stb_anime,ストライク・ザ・ブラッド,ストブラ,anime_mahosen,魔法戦争,mahosen_tv,wakeupgirls_PR,Wake Up, Girls!,WUG_JP ,norin_anime,のうりん,のうりん,SakiAnime,咲-Saki-全国編,saki,anime_chu_2,中二病でも恋がしたい！戀,chu2koi,buildfighters,ガンダムビルドファイターズ,g_bf,nhk_loghorizon,ログ・ホライズン,loghorizon,kill_la_kill,キルラキル,kill_la_kill,sakuratrick_pr,桜Trick,桜Trick,mikakunin_anime,未確認で進行形,未確認で進行形,samumenco,サムライフラメンコ,samumenco,Witch_CW_anime,ウィッチクラフトワークス,witch_anime,seitokai0428,生徒会役員共＊,seitokai2,noragami_PR,ノラガミ,ノラガミ ,ezono_official,銀の匙 Silver Spoon,ginsaji_anime,mahouka_anime,魔法科高校の劣等生,mahouka,LoveLive_staff,ラブライブ! 第2期,lovelive,mekakushidan,メカクシティアクターズ ,mekakushi,date_a_info,デート・ア・ライブII,date-a-live,anime_inuneko,犬神さんと猫山さん,inuneko,pingpong_anime,ピンポン,ピンポンアニメ,usagi_anime,ご注文はうさぎですか?,gochiusa,nanana_tv,龍ヶ嬢七々々の埋蔵金,nanana_tv,ngnl_anime,ノーゲーム・ノーライフ,nogenora,gaworare_TV,彼女がフラグをおられたら, がをられ,doragner_ani

AKB428

require 'pathname'
require 'fileutils'
require 'RMagick'
module ComikeCatalogParser
  class CircleCut

    WORK_FOLDER_NAME = "./circle_cut"

    CIRCLE_CUT_SIZE_WIDTH = 165
    CIRCLE_CUT_SIZE_HEIGHT = 241

AKB428

#!/bin/sh
java -jar nico.jar "sora_no_method,天体のメソッド,天体のメソッド,sorameso,shigatsuhakimi,四月は君の嘘,四月は君の嘘,君嘘,Fate_SN_Anime,Fate/stay night,Fate,fate_sn_anime ,daito_anime,大図書館の羊飼い,大図書館,daitoanime,psychopass_tv,PSYCHO-PASS サイコパス 2,サイコパス,pp_anime,amaburiANIME,甘城ブリリアントパーク,甘ブリ,amaburi,nhk_loghorizon,ログ・ホライズン(2期),ログホラ,loghorizon,orefuroTV,オレん家のフロ事情,オレフロ,orefuroTV,ChaikaTrabant,棺姫のチャイカ(2期),チャイカ,棺姫のチャイカ,anime_garo,牙狼〈GARO〉-炎の刻印-,牙狼,ガロ,anime_garo,ai_tenchi,愛・天地無用！,天地無用,ai_tenchi,_terraformars,テラフォーマーズ,テラフォーマーズ,terraformars ,anime_denkigai,デンキ街の本屋さん,デンキ街の本屋さん,#denkigai,yowapeda_anime,弱虫ペダル GRANDE ROAD,弱虫ペダル,yp_anime,SHG_Official,Hi ☆ sCoool ! セハガール,セハガール,セハガール,buildfighters,ガンダムビルドファイターズトライ,ビルドファイターズ,g_bf,gugukoku_anime,繰繰れ！コックリさん,コックリさん,gugukoku,selector_anime,selector spread WIXOSS,WIXOSS,ウィクロス,selector_anime,gundam_reco,ガンダム Gのレコンギスタ,レコンギスタ,gレコ,TrinitySeven_PR,トリニティセブン,トリニティセブン,トリニティセブン ,inou_PR,異能バトルは日常系のなかで,異能バトル,異能バトル,gf_anime,ガールフレンド（仮）,ガールフレンド,gf_anime,madan_anime,弾の王と戦姫,弾の王と戦姫,blade_anime,donten_pr,曇天に笑う,曇天に笑う,donte

AKB428

基調講演 10:18
NTTD OSS

2008年からHadoopに取り組んでいる
Doug Cuttin氏　は現Cloudera

エンタープライズということで
Hadoopを知らない人もかなりきてるので入門的な内容

Hadoop1

AKB428

11:06
Twitter日本語データの詳細

どうやってFireforceを処理しているのか

従来型ソーシャルメディアリスニング
プロモーション効果測定

CMの効果測定

AKB428

13:22
[NTTデータだからこそできるHadoop徹底活用のための取り組み]



エンタープライズからのニーズに対してHadoopだけではできないことをNTTDの工夫でやる

Hadoop２ではNameNode　HAがネイティブで実装された

Gangliaによるクラスタ状態の可視化

AKB428

NTTD 安定運用の勘所

サポート担当から見たトラブル発生の要因
・設計・サイジングミス、操作ミス、バグ


Hadoopでは用途が変化することで事前の想定を超えることが多い

事例１：データ量増加のみに着目していたHadoopクラスタ
->M/R処理時間が想定以上に伸び始めた

AKB428

はじめてのSpark
・メモリをつかって高速に分散処理
・機械学習・統計処理MLlib

2013年 68名コントリビューター
２０１４年 255名

なんで注目されているのか？▶様々な立場の人から使い勝手の良い特徴をいくつも持っているから

AKB428

Stormによるデータ処理
竹内

アジェンダ
・IoTとストリーム処理
・Storm
・事例

[IoTとストリーム処理]
ストリーム処理の定義極力ディスクに着地させないで処理する