shibacow

#!/usr/bin/python
# -*- coding:utf-8 -*-

from impala.dbapi import connect
import gevent
from impala.error import *
import time


def fetch(sql,func):

shibacow

#ニコニコデータセット分析(構築偏) 芝尾幸一郎(@shibacow) #構築手順

• ニコニコ動画データセット取得
• コメントデータセットにsmidとファイル名を追記する
• S3へのデータアップロード
• AmazonEMRにデータを入れる
• 使いやすいようにデータをコンバート

#詳しくはこちら

shibacow

ニコニコ動画データセットワークショップ

芝尾幸一郎(@shibacow)

上級者向け

• HiveのWebインターフェース
• スキーマ情報
• Hiveの関数一覧

SQLの基礎

shibacow

[ODBC Drivers]
Hive Driver=Installed
[Hive Driver]
Driver=/usr/lib/libhiveodbc.so.1
Description=Hive Driver
Setup=/usr/lib/libhiveodbc.so.1
APILevel=2
ConnectFunctions=YYY
DriverODBCVer=1.0
FileUsage=0

shibacow

[ODBC Data Sources]
;IMPALA-SERVER=Hive ODBC Driver
IMPALA-SERVER=Hive Driver
[IMPALA-SERVER]
Driver=/usr/lib/libhiveodbc.so.1
Description=Hive ODBC Driver
;specify your impalad server
Host=192.168.1.6 
Port=21000
Database=

shibacow

#!/usr/bin/python
# -*- coding:utf-8 -*-
import pyodbc
def main():
    con=pyodbc.connect('DSN=IMPALA-SERVER;UID=;PWD=;Database=Default;')
    cursor=con.cursor()
    sql='select count(*) from sample_07'
    cursor.execute(sql)
    for r in cursor.fetchall():
        print r

shibacow

<?php
function odbc_test(){
  $DSN='IMPALA-SERVER';
  $USER='';
  $PASS='';
  $con=odbc_connect($DSN,$USER,$PASS);
  if($con){
    $sql='select count(*) from sample_07';
    $rs = odbc_exec($con,$sql);
    while($row = odbc_fetch_array($rs)){