Skip to content

Instantly share code, notes, and snippets.

@hiroyuki-sato
Last active August 29, 2015 14:14
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save hiroyuki-sato/04be7c0b5190d525f64b to your computer and use it in GitHub Desktop.
Save hiroyuki-sato/04be7c0b5190d525f64b to your computer and use it in GitHub Desktop.
Embulkとなんちゃって個人情報

なんちゃって個人情報をembulkで使う

なんちゃって個人情報 で出力したデータをembulkで使ってインポートする練習

まだ出力先の使い方をマスターしていないので標準出力にのみ出力

手順

  • なんちゃって個人情報 からCSVをダウンロード(項目は全部チェックします。)
  • ファイルをUTF-8に変換します。(オリジナルはShift_JIS)
  • 設定ファイルを記述(後述)
  • 実行

設定ファイル

ファイル名は、conf.yamlとします。

exec: {}
in:
  type: file
  paths: [/private/tmp/try1/csv]
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: ''
    header_line: true
    columns:
    - {name: name, type: string}                             # 名前
    - {name: name_kana, type: string}                        # 名前(ふりがな)
    - {name: e-mail, type: string}                           # 住所
    - {name: sex, type: string}                              # 性別
    - {name: age, type: long}                                # 年齢
    - {name: birthday, type: timestamp, format: "%Y/%m/%d" } # 誕生日
    - {name: marriage, type: string}                         # 婚姻
    - {name: blood, type: string}                            # 血液型
    - {name: prefecture, type: string}                       # 都道府県
    - {name: tel, type: string}                              # 電話番号
    - {name: mobile, type: string}                           # 携帯電話番号
    - {name: mobile_type, type: string}                      # 携帯電話会社
    - {name: curry, type: string}                            # カレーの食べ方
out: {type: stdout}

TODO

まだ使い始めたばかりで使い方がわからない。次のことができるといいと思います。

  • 文字コード変換: 元データは、Shift_JISだけど、出力先はUTF-8にしたい。
  • 入力は一つ、出力先は二つ: このデータで言うと名前を「姓」・「名」に分割
  • 血液型を「AB型」から「AB」に
  • 都道府県名を都道府県コードに
  • データの格納先をRDBMS(PostgreSQL)に

実行

次のようにコマンドを実行

java -jar embulk.jar preview conf.yaml

実行結果

電話番号が090- とかになっているのは元データ?がそうなっているためで、embulkは無関係のよう。(Safariでダウンロードしたせい?)

+-------------+------------------+---------------------------------+------------+----------+-------------------------+-----------------+--------------+-------------------+--------------+---------------+--------------------+--------------+
| name:string | name_kana:string |                  address:string | sex:string | age:long |      birthday:timestamp | marriage:string | blood:string | prefecture:string |   tel:string | mobile:string | mobile_type:string | curry:string |
+-------------+------------------+---------------------------------+------------+----------+-------------------------+-----------------+--------------+-------------------+--------------+---------------+--------------------+--------------+
|      吉岡 さゆり |         よしおか さゆり |     yoshioka_sayuri@example.com |          女 |       47 | 1967-07-16 00:00:00 UTC |              既婚 |           B型 |              神奈川県 | 0 5- 70-1373 | 090- 849-8844 |                ドコモ |   ぶっかけ・せき止め派 |
|       千葉 龍吉 |         ちば りゅうきち |     chiba_ryuukichi@example.com |          男 |       67 | 1947-10-05 00:00:00 UTC |              既婚 |           A型 |               群馬県 | 034- 25-2340 | 090- 606-6357 |             ソフトバンク |    右ルー・せき止め派 |
|       土橋 拓郎 |        つちはし たくろう | tsuchihashi_takurou@example.com |          男 |       23 | 1991-02-11 00:00:00 UTC |              未婚 |          AB型 |               大阪府 | 0 9-644-7226 | 080-5327-4281 |                ドコモ |    別盛り・混ぜ混ぜ派 |
|       本間 紗季 |           ほんま さき |          honma_saki@example.com |          女 |       69 | 1945-06-11 00:00:00 UTC |              既婚 |           B型 |               奈良県 | 076-767-3077 | 090-1698-4821 |                ドコモ |    別盛り・せき止め派 |
|        田口 翔 |          たぐち しょう |        taguchi_shou@example.com |          男 |       73 | 1941-10-21 00:00:00 UTC |              既婚 |           A型 |               東京都 | 092-532-8396 | 090- 798-6261 |                ドコモ |   手前ルー・混ぜ混ぜ派 |
|       田所 えみ |          たどころ えみ |        tadokoro_emi@example.com |          女 |       39 | 1976-02-01 00:00:00 UTC |              未婚 |           B型 |               長野県 | 014-770-4699 | 090-5034-9498 |             ソフトバンク |      左ルー・別口派 |
|      伊集院 あい |        いじゅういん あい |           ijuuin_ai@example.com |          女 |       38 | 1976-07-19 00:00:00 UTC |              未婚 |           B型 |               大阪府 | 062- 38-5267 | 080-3444-8937 |             ソフトバンク |      左ルー・別口派 |
|      滝田 あさみ |          たきた あさみ |        takita_asami@example.com |          女 |       58 | 1956-06-28 00:00:00 UTC |              既婚 |           B型 |               愛知県 | 073-187-5370 | 090-7813-7411 |                 au |   ぶっかけ・せき止め派 |
|       高田 知世 |           たかだ ちせ |        takada_chise@example.com |          女 |       41 | 1973-12-14 00:00:00 UTC |              既婚 |           O型 |               東京都 | 049- 83-3364 | 080-2260-2158 |                 au |   ぶっかけ・ルー攻め派 |
|       池内 沙耶 |          いけうち さや |        ikeuchi_saya@example.com |          女 |       63 | 1951-03-04 00:00:00 UTC |              既婚 |           A型 |               埼玉県 | 038-151-5106 | 080-8823-1183 |                ドコモ |    右ルー・せき止め派 |
|       小池 竜次 |         こいけ りゅうじ |        koike_ryuuji@example.com |          男 |       72 | 1942-05-08 00:00:00 UTC |              既婚 |           O型 |               静岡県 | 085-161- 102 | 090-7488-9274 |                ドコモ |      奥ルー・別口派 |
|       安田 礼子 |          やすだ れいこ |        yasuda_reiko@example.com |          女 |       64 | 1950-12-10 00:00:00 UTC |              既婚 |           B型 |               埼玉県 | 0 6-720-1765 | 080-3210- 338 |                ドコモ |     ぶっかけ・ナン派 |
|        宮部 健 |           みやべ けん |          miyabe_ken@example.com |          男 |       77 | 1937-02-25 00:00:00 UTC |              既婚 |           A型 |               東京都 | 040- 68-8835 | 080-2764-3489 |                ドコモ |    左ルー・ルー攻め派 |
|      西島 かおり |         にしじま かおり |     nishijima_kaori@example.com |          女 |       47 | 1967-11-21 00:00:00 UTC |              未婚 |           A型 |               静岡県 | 0 5-844-4488 | 080-5312-6329 |             ソフトバンク |    左ルー・ルー攻め派 |
|       平井 高史 |          ひらい たかし |       hirai_takashi@example.com |          男 |       29 | 1985-12-11 00:00:00 UTC |              未婚 |           B型 |               新潟県 | 0 2- 71-7572 | 090-7520-1013 |                ドコモ |    右ルー・ルー攻め派 |
|       海野 由宇 |           うみの ゆう |           umino_yuu@example.com |          女 |       61 | 1953-09-16 00:00:00 UTC |              既婚 |           B型 |               福岡県 | 061-844-5933 | 090-9827-5407 |                ドコモ |    左ルー・せき止め派 |
|      杉田 サダヲ |          すぎた さだお |       sugita_sadawo@example.com |          男 |       70 | 1944-03-18 00:00:00 UTC |              既婚 |           O型 |               福岡県 | 062-758-9052 | 090-3874-6697 |                ドコモ |    左ルー・ルー攻め派 |
|     小田島 あさみ |         おだじま あさみ |       odajima_asami@example.com |          女 |       35 | 1979-02-07 00:00:00 UTC |              既婚 |           A型 |               宮城県 | 047- 77-1832 | 090-9276-3528 |                 au |   ぶっかけ・ルー攻め派 |
|       佐川 勝久 |         さがわ かつひさ |    sagawa_katsuhisa@example.com |          男 |       76 | 1938-06-30 00:00:00 UTC |              既婚 |           A型 |               静岡県 | 021-860-8535 | 090-2821-2579 |                ドコモ |   手前ルー・混ぜ混ぜ派 |
|       大倉 恵麻 |          おおくら えま |          ookura_ema@example.com |          女 |       47 | 1967-11-26 00:00:00 UTC |              未婚 |           O型 |               大阪府 | 029-169-9677 | 090-1053-1799 |                ドコモ |     ぶっかけ・別口派 |
|       西山 智花 |         にしやま ともか |    nishiyama_tomoka@example.com |          女 |       29 | 1985-04-10 00:00:00 UTC |              既婚 |           B型 |               東京都 | 032-174-9949 | 090- 752- 273 |                ドコモ |   ぶっかけ・ルー攻め派 |
|       長岡 七世 |         ながおか ななせ |      nagaoka_nanase@example.com |          女 |       59 | 1955-05-15 00:00:00 UTC |              未婚 |           O型 |              神奈川県 | 096-424-2030 | 090-8078-1107 |             ソフトバンク |    左ルー・ルー攻め派 |
|      竹下 美和子 |         たけした みわこ |    takeshita_miwako@example.com |          女 |       46 | 1968-10-16 00:00:00 UTC |              既婚 |           A型 |               熊本県 | 098- 76-  99 | 090-1864-9528 |                ドコモ |    左ルー・ルー攻め派 |
|       梅田 智花 |          うめだ ともか |        umeda_tomoka@example.com |          女 |       60 | 1955-01-24 00:00:00 UTC |              既婚 |           B型 |               群馬県 | 064-651- 488 | 080-4913-7185 |                ドコモ |    左ルー・混ぜ混ぜ派 |
|       白鳥 路子 |         しらとり みちこ |   shiratori_michiko@example.com |          女 |       31 | 1983-10-22 00:00:00 UTC |              未婚 |           A型 |               大阪府 | 042-234-3996 | 090-7270-7234 |                 au |    奥ルー・ルー攻め派 |
|       宮地 秀隆 |         みやじ ひでたか |     miyaji_hidetaka@example.com |          男 |       31 | 1983-06-23 00:00:00 UTC |              既婚 |           B型 |               大阪府 | 093-594-9034 | 090-3990-1310 |                ドコモ |    左ルー・混ぜ混ぜ派 |
|        菅野 優 |           すがの ゆう |          sugano_yuu@example.com |          男 |       62 | 1952-09-16 00:00:00 UTC |              既婚 |          AB型 |               東京都 | 047-603-5987 | 090-7636- 337 |                ドコモ |    右ルー・せき止め派 |
|        広田 涼 |          ひろた りょう |         hirota_ryou@example.com |          女 |       36 | 1978-10-04 00:00:00 UTC |              既婚 |           B型 |               大分県 | 068-895-1552 | 090- 102-5614 |                ドコモ |   ぶっかけ・せき止め派 |
|      野口 ひろみ |          のぐち ひろみ |      noguchi_hiromi@example.com |          女 |       50 | 1964-10-05 00:00:00 UTC |              既婚 |           A型 |               埼玉県 | 066-836-7535 | 080-5288-2659 |                ドコモ |   ぶっかけ・せき止め派 |
|       末永 怜奈 |         すえなが れいな |       suenaga_reina@example.com |          女 |       51 | 1963-09-07 00:00:00 UTC |              既婚 |           A型 |               群馬県 | 077-745-3863 | 080-5258-2300 |                ドコモ |    左ルー・混ぜ混ぜ派 |
|       加藤 真吾 |          かとう しんご |        katou_shingo@example.com |          男 |       40 | 1974-06-19 00:00:00 UTC |              既婚 |           O型 |               福岡県 | 053- 75-7773 | 080-1393-2055 |                ドコモ |    左ルー・せき止め派 |
|       小口 秀隆 |         おぐち ひでたか |     oguchi_hidetaka@example.com |          男 |       60 | 1954-04-16 00:00:00 UTC |              既婚 |           O型 |               京都府 | 043-841-8780 | 080-3554- 583 |                ドコモ |   ぶっかけ・ルー攻め派 |
|       平井 昌代 |          ひらい まさよ |        hirai_masayo@example.com |          女 |       60 | 1954-10-16 00:00:00 UTC |              既婚 |           O型 |               宮城県 | 029-924-9416 | 090-4459-3367 |             ソフトバンク |    右ルー・せき止め派 |
|       細川 早織 |         ほそかわ さおり |      hosokawa_saori@example.com |          女 |       22 | 1992-03-22 00:00:00 UTC |              既婚 |           A型 |               青森県 | 063- 68-1549 | 090-5742-2351 |                 au |   ぶっかけ・ルー攻め派 |
|       片山 昌代 |         かたやま まさよ |     katayama_masayo@example.com |          女 |       78 | 1936-04-27 00:00:00 UTC |              既婚 |           A型 |               東京都 | 097-898-5209 | 090-8817-1457 |             ソフトバンク |    奥ルー・ルー攻め派 |
|       高瀬 晃司 |          たかせ こうじ |        takase_kouji@example.com |          男 |       79 | 1935-06-21 00:00:00 UTC |              既婚 |           A型 |               岐阜県 | 0 6-643-5108 | 090-6301-5307 |                ドコモ |    左ルー・ルー攻め派 |
|       内海 早織 |          うちみ さおり |        uchimi_saori@example.com |          女 |       80 | 1934-04-12 00:00:00 UTC |              既婚 |           A型 |               福岡県 | 019-461-6663 | 090-8674-2927 |             ソフトバンク |   ぶっかけ・ルー攻め派 |
|        今 美優 |           いま みゅう |            ima_myuu@example.com |          女 |       40 | 1974-08-26 00:00:00 UTC |              未婚 |           B型 |               千葉県 | 080- 56-2896 | 080-8356-1039 |                 au |      左ルー・ナン派 |
|        半田 圭 |           はんだ けい |          hannda_kei@example.com |          男 |       65 | 1950-01-07 00:00:00 UTC |              既婚 |           A型 |               北海道 | 0 7-381-3531 | 090-3780- 777 |                 au |     ぶっかけ・別口派 |
|       神戸 夏希 |          こうべ なつき |       koube_natsuki@example.com |          女 |       79 | 1936-01-21 00:00:00 UTC |              既婚 |           A型 |               長野県 | 0 1-954-6988 | 080-9492-6205 |                ドコモ |    右ルー・ルー攻め派 |
|       西田 剛基 |          にしだ よしき |     nishida_yoshiki@example.com |          男 |       46 | 1968-10-26 00:00:00 UTC |              未婚 |           O型 |               佐賀県 | 073-673-6841 | 090- 505-6481 |             ソフトバンク |    左ルー・混ぜ混ぜ派 |
|        北川 窈 |          きたかわ よう |        kitakawa_you@example.com |          女 |       45 | 1969-10-28 00:00:00 UTC |              既婚 |           B型 |               青森県 | 091-460-4533 | 090-2983-9875 |                ドコモ |   ぶっかけ・混ぜ混ぜ派 |
|        北村 惇 |         きたむら じゅん |        kitamura_jun@example.com |          男 |       64 | 1950-07-24 00:00:00 UTC |              既婚 |          AB型 |               滋賀県 | 0  -335-7892 | 080-1030-2699 |                 au |    左ルー・ルー攻め派 |
|       田村 憲史 |         たむら のりひと |     tamura_norihito@example.com |          男 |       50 | 1964-03-01 00:00:00 UTC |              既婚 |           O型 |               大阪府 | 064-566-9472 | 080- 959-5949 |                ドコモ |   ぶっかけ・せき止め派 |
|      高崎 恵望子 |         たかさき えみこ |      takasaki_emiko@example.com |          女 |       78 | 1936-10-19 00:00:00 UTC |              既婚 |           B型 |               埼玉県 | 067-298-8450 | 090-9342-2385 |                 au |    左ルー・ルー攻め派 |
|       戸田 徹平 |          とだ てっぺい |         toda_teppei@example.com |          男 |       63 | 1951-09-23 00:00:00 UTC |              既婚 |           A型 |               秋田県 | 023-788-1821 | 080-6423-3006 |                ドコモ |   ぶっかけ・ルー攻め派 |
|       川畑 奈々 |          かわはた なな |       kawahata_nana@example.com |          女 |       24 | 1990-02-04 00:00:00 UTC |              既婚 |          AB型 |               兵庫県 | 038-569-  94 | 080-6633-4007 |                 au |   手前ルー・せき止め派 |
|      平田 裕次郎 |        ひらた ゆうじろう |     hirata_yuujirou@example.com |          男 |       43 | 1971-10-12 00:00:00 UTC |              既婚 |           B型 |               東京都 | 013-596-7601 | 090-2301-8086 |                ドコモ |   ぶっかけ・ルー攻め派 |
|       倉本 法嗣 |         くらもと ほうし |     kuramoto_houshi@example.com |          男 |       27 | 1987-10-02 00:00:00 UTC |              既婚 |           A型 |               東京都 | 047-692-2913 | 090-9965-5197 |                ドコモ |   ぶっかけ・ルー攻め派 |
|      浜野 はるみ |          はまの はるみ |       hamano_harumi@example.com |          女 |       47 | 1967-10-30 00:00:00 UTC |              既婚 |           A型 |              鹿児島県 | 060-  3-2688 | 090-9946-5324 |                 au |    奥ルー・混ぜ混ぜ派 |
+-------------+------------------+---------------------------------+------------+----------+-------------------------+-----------------+--------------+-------------------+--------------+---------------+--------------------+--------------+

実行

コマンドの実行

java -jar embulk.jar run conf.yaml

実行結果

java -jar embulk.jar run /tmp/test.yaml  
2015-02-03 18:15:40,291 [INFO]: main:org.embulk.standards.LocalFileInputPlugin: Listing local files with prefix '/private/tmp/try1/csv'
2015-02-03 18:15:40,390 [INFO]: main:org.embulk.exec.LocalExecutor: Running 1 tasks using 8 local threads
2015-02-03 18:15:40,390 [INFO]: main:org.embulk.exec.LocalExecutor: {done:  0 / 1, running: 0}
吉岡 さゆり,よしおか さゆり,yoshioka_sayuri@example.com,女,47,1967/07/16,既婚,B型,神奈川県,0 5- 70-1373,090- 849-8844,ドコモ,ぶっかけ・せき止め派
千葉 龍吉,ちば りゅうきち,chiba_ryuukichi@example.com,男,67,1947/10/05,既婚,A型,群馬県,034- 25-2340,090- 606-6357,ソフトバンク,右ルー・せき止め派
土橋 拓郎,つちはし たくろう,tsuchihashi_takurou@example.com,男,23,1991/02/11,未婚,AB型,大阪府,0 9-644-7226,080-5327-4281,ドコモ,別盛り・混ぜ混ぜ派
本間 紗季,ほんま さき,honma_saki@example.com,女,69,1945/06/11,既婚,B型,奈良県,076-767-3077,090-1698-4821,ドコモ,別盛り・せき止め派
田口 翔,たぐち しょう,taguchi_shou@example.com,男,73,1941/10/21,既婚,A型,東京都,092-532-8396,090- 798-6261,ドコモ,手前ルー・混ぜ混ぜ派
田所 えみ,たどころ えみ,tadokoro_emi@example.com,女,39,1976/02/01,未婚,B型,長野県,014-770-4699,090-5034-9498,ソフトバンク,左ルー・別口派
伊集院 あい,いじゅういん あい,ijuuin_ai@example.com,女,38,1976/07/19,未婚,B型,大阪府,062- 38-5267,080-3444-8937,ソフトバンク,左ルー・別口派
滝田 あさみ,たきた あさみ,takita_asami@example.com,女,58,1956/06/28,既婚,B型,愛知県,073-187-5370,090-7813-7411,au,ぶっかけ・せき止め派
高田 知世,たかだ ちせ,takada_chise@example.com,女,41,1973/12/14,既婚,O型,東京都,049- 83-3364,080-2260-2158,au,ぶっかけ・ルー攻め派
池内 沙耶,いけうち さや,ikeuchi_saya@example.com,女,63,1951/03/04,既婚,A型,埼玉県,038-151-5106,080-8823-1183,ドコモ,右ルー・せき止め派
小池 竜次,こいけ りゅうじ,koike_ryuuji@example.com,男,72,1942/05/08,既婚,O型,静岡県,085-161- 102,090-7488-9274,ドコモ,奥ルー・別口派
安田 礼子,やすだ れいこ,yasuda_reiko@example.com,女,64,1950/12/10,既婚,B型,埼玉県,0 6-720-1765,080-3210- 338,ドコモ,ぶっかけ・ナン派
宮部 健,みやべ けん,miyabe_ken@example.com,男,77,1937/02/25,既婚,A型,東京都,040- 68-8835,080-2764-3489,ドコモ,左ルー・ルー攻め派
西島 かおり,にしじま かおり,nishijima_kaori@example.com,女,47,1967/11/21,未婚,A型,静岡県,0 5-844-4488,080-5312-6329,ソフトバンク,左ルー・ルー攻め派
平井 高史,ひらい たかし,hirai_takashi@example.com,男,29,1985/12/11,未婚,B型,新潟県,0 2- 71-7572,090-7520-1013,ドコモ,右ルー・ルー攻め派
海野 由宇,うみの ゆう,umino_yuu@example.com,女,61,1953/09/16,既婚,B型,福岡県,061-844-5933,090-9827-5407,ドコモ,左ルー・せき止め派
杉田 サダヲ,すぎた さだお,sugita_sadawo@example.com,男,70,1944/03/18,既婚,O型,福岡県,062-758-9052,090-3874-6697,ドコモ,左ルー・ルー攻め派
小田島 あさみ,おだじま あさみ,odajima_asami@example.com,女,35,1979/02/07,既婚,A型,宮城県,047- 77-1832,090-9276-3528,au,ぶっかけ・ルー攻め派
佐川 勝久,さがわ かつひさ,sagawa_katsuhisa@example.com,男,76,1938/06/30,既婚,A型,静岡県,021-860-8535,090-2821-2579,ドコモ,手前ルー・混ぜ混ぜ派
大倉 恵麻,おおくら えま,ookura_ema@example.com,女,47,1967/11/26,未婚,O型,大阪府,029-169-9677,090-1053-1799,ドコモ,ぶっかけ・別口派
西山 智花,にしやま ともか,nishiyama_tomoka@example.com,女,29,1985/04/10,既婚,B型,東京都,032-174-9949,090- 752- 273,ドコモ,ぶっかけ・ルー攻め派
長岡 七世,ながおか ななせ,nagaoka_nanase@example.com,女,59,1955/05/15,未婚,O型,神奈川県,096-424-2030,090-8078-1107,ソフトバンク,左ルー・ルー攻め派
竹下 美和子,たけした みわこ,takeshita_miwako@example.com,女,46,1968/10/16,既婚,A型,熊本県,098- 76-  99,090-1864-9528,ドコモ,左ルー・ルー攻め派
梅田 智花,うめだ ともか,umeda_tomoka@example.com,女,60,1955/01/24,既婚,B型,群馬県,064-651- 488,080-4913-7185,ドコモ,左ルー・混ぜ混ぜ派
白鳥 路子,しらとり みちこ,shiratori_michiko@example.com,女,31,1983/10/22,未婚,A型,大阪府,042-234-3996,090-7270-7234,au,奥ルー・ルー攻め派
宮地 秀隆,みやじ ひでたか,miyaji_hidetaka@example.com,男,31,1983/06/23,既婚,B型,大阪府,093-594-9034,090-3990-1310,ドコモ,左ルー・混ぜ混ぜ派
菅野 優,すがの ゆう,sugano_yuu@example.com,男,62,1952/09/16,既婚,AB型,東京都,047-603-5987,090-7636- 337,ドコモ,右ルー・せき止め派
広田 涼,ひろた りょう,hirota_ryou@example.com,女,36,1978/10/04,既婚,B型,大分県,068-895-1552,090- 102-5614,ドコモ,ぶっかけ・せき止め派
野口 ひろみ,のぐち ひろみ,noguchi_hiromi@example.com,女,50,1964/10/05,既婚,A型,埼玉県,066-836-7535,080-5288-2659,ドコモ,ぶっかけ・せき止め派
末永 怜奈,すえなが れいな,suenaga_reina@example.com,女,51,1963/09/07,既婚,A型,群馬県,077-745-3863,080-5258-2300,ドコモ,左ルー・混ぜ混ぜ派
加藤 真吾,かとう しんご,katou_shingo@example.com,男,40,1974/06/19,既婚,O型,福岡県,053- 75-7773,080-1393-2055,ドコモ,左ルー・せき止め派
小口 秀隆,おぐち ひでたか,oguchi_hidetaka@example.com,男,60,1954/04/16,既婚,O型,京都府,043-841-8780,080-3554- 583,ドコモ,ぶっかけ・ルー攻め派
平井 昌代,ひらい まさよ,hirai_masayo@example.com,女,60,1954/10/16,既婚,O型,宮城県,029-924-9416,090-4459-3367,ソフトバンク,右ルー・せき止め派
細川 早織,ほそかわ さおり,hosokawa_saori@example.com,女,22,1992/03/22,既婚,A型,青森県,063- 68-1549,090-5742-2351,au,ぶっかけ・ルー攻め派
片山 昌代,かたやま まさよ,katayama_masayo@example.com,女,78,1936/04/27,既婚,A型,東京都,097-898-5209,090-8817-1457,ソフトバンク,奥ルー・ルー攻め派
高瀬 晃司,たかせ こうじ,takase_kouji@example.com,男,79,1935/06/21,既婚,A型,岐阜県,0 6-643-5108,090-6301-5307,ドコモ,左ルー・ルー攻め派
内海 早織,うちみ さおり,uchimi_saori@example.com,女,80,1934/04/12,既婚,A型,福岡県,019-461-6663,090-8674-2927,ソフトバンク,ぶっかけ・ルー攻め派
今 美優,いま みゅう,ima_myuu@example.com,女,40,1974/08/26,未婚,B型,千葉県,080- 56-2896,080-8356-1039,au,左ルー・ナン派
半田 圭,はんだ けい,hannda_kei@example.com,男,65,1950/01/07,既婚,A型,北海道,0 7-381-3531,090-3780- 777,au,ぶっかけ・別口派
神戸 夏希,こうべ なつき,koube_natsuki@example.com,女,79,1936/01/21,既婚,A型,長野県,0 1-954-6988,080-9492-6205,ドコモ,右ルー・ルー攻め派
西田 剛基,にしだ よしき,nishida_yoshiki@example.com,男,46,1968/10/26,未婚,O型,佐賀県,073-673-6841,090- 505-6481,ソフトバンク,左ルー・混ぜ混ぜ派
北川 窈,きたかわ よう,kitakawa_you@example.com,女,45,1969/10/28,既婚,B型,青森県,091-460-4533,090-2983-9875,ドコモ,ぶっかけ・混ぜ混ぜ派
北村 惇,きたむら じゅん,kitamura_jun@example.com,男,64,1950/07/24,既婚,AB型,滋賀県,0  -335-7892,080-1030-2699,au,左ルー・ルー攻め派
田村 憲史,たむら のりひと,tamura_norihito@example.com,男,50,1964/03/01,既婚,O型,大阪府,064-566-9472,080- 959-5949,ドコモ,ぶっかけ・せき止め派
高崎 恵望子,たかさき えみこ,takasaki_emiko@example.com,女,78,1936/10/19,既婚,B型,埼玉県,067-298-8450,090-9342-2385,au,左ルー・ルー攻め派
戸田 徹平,とだ てっぺい,toda_teppei@example.com,男,63,1951/09/23,既婚,A型,秋田県,023-788-1821,080-6423-3006,ドコモ,ぶっかけ・ルー攻め派
川畑 奈々,かわはた なな,kawahata_nana@example.com,女,24,1990/02/04,既婚,AB型,兵庫県,038-569-  94,080-6633-4007,au,手前ルー・せき止め派
平田 裕次郎,ひらた ゆうじろう,hirata_yuujirou@example.com,男,43,1971/10/12,既婚,B型,東京都,013-596-7601,090-2301-8086,ドコモ,ぶっかけ・ルー攻め派
倉本 法嗣,くらもと ほうし,kuramoto_houshi@example.com,男,27,1987/10/02,既婚,A型,東京都,047-692-2913,090-9965-5197,ドコモ,ぶっかけ・ルー攻め派
浜野 はるみ,はまの はるみ,hamano_harumi@example.com,女,47,1967/10/30,既婚,A型,鹿児島県,060-  3-2688,090-9946-5324,au,奥ルー・混ぜ混ぜ派
2015-02-03 18:15:40,872 [INFO]: main:org.embulk.exec.LocalExecutor: {done:  1 / 1, running: 0}
2015-02-03 18:15:40,872 [INFO]: main:org.embulk.command.Runner: next config: {}
名前 ふりがな アドレス 性別 年齢 誕生日 婚姻 血液型 都道府県 電話番号 携帯 キャリア カレーの食べ方
吉岡 さゆり よしおか さゆり yoshioka_sayuri@example.com 47 1967/7/16 既婚 B型 神奈川県 0 5- 70-1373 090- 849-8844 ドコモ ぶっかけ・せき止め派
千葉 龍吉 ちば りゅうきち chiba_ryuukichi@example.com 67 1947/10/5 既婚 A型 群馬県 034- 25-2340 090- 606-6357 ソフトバンク 右ルー・せき止め派
土橋 拓郎 つちはし たくろう tsuchihashi_takurou@example.com 23 1991/2/11 未婚 AB型 大阪府 0 9-644-7226 080-5327-4281 ドコモ 別盛り・混ぜ混ぜ派
本間 紗季 ほんま さき honma_saki@example.com 69 1945/6/11 既婚 B型 奈良県 076-767-3077 090-1698-4821 ドコモ 別盛り・せき止め派
田口 翔 たぐち しょう taguchi_shou@example.com 73 1941/10/21 既婚 A型 東京都 092-532-8396 090- 798-6261 ドコモ 手前ルー・混ぜ混ぜ派
田所 えみ たどころ えみ tadokoro_emi@example.com 39 1976/2/1 未婚 B型 長野県 014-770-4699 090-5034-9498 ソフトバンク 左ルー・別口派
伊集院 あい いじゅういん あい ijuuin_ai@example.com 38 1976/7/19 未婚 B型 大阪府 062- 38-5267 080-3444-8937 ソフトバンク 左ルー・別口派
滝田 あさみ たきた あさみ takita_asami@example.com 58 1956/6/28 既婚 B型 愛知県 073-187-5370 090-7813-7411 au ぶっかけ・せき止め派
高田 知世 たかだ ちせ takada_chise@example.com 41 1973/12/14 既婚 O型 東京都 049- 83-3364 080-2260-2158 au ぶっかけ・ルー攻め派
池内 沙耶 いけうち さや ikeuchi_saya@example.com 63 1951/3/4 既婚 A型 埼玉県 038-151-5106 080-8823-1183 ドコモ 右ルー・せき止め派
小池 竜次 こいけ りゅうじ koike_ryuuji@example.com 72 1942/5/8 既婚 O型 静岡県 085-161- 102 090-7488-9274 ドコモ 奥ルー・別口派
安田 礼子 やすだ れいこ yasuda_reiko@example.com 64 1950/12/10 既婚 B型 埼玉県 0 6-720-1765 080-3210- 338 ドコモ ぶっかけ・ナン派
宮部 健 みやべ けん miyabe_ken@example.com 77 1937/2/25 既婚 A型 東京都 040- 68-8835 080-2764-3489 ドコモ 左ルー・ルー攻め派
西島 かおり にしじま かおり nishijima_kaori@example.com 47 1967/11/21 未婚 A型 静岡県 0 5-844-4488 080-5312-6329 ソフトバンク 左ルー・ルー攻め派
平井 高史 ひらい たかし hirai_takashi@example.com 29 1985/12/11 未婚 B型 新潟県 0 2- 71-7572 090-7520-1013 ドコモ 右ルー・ルー攻め派
海野 由宇 うみの ゆう umino_yuu@example.com 61 1953/9/16 既婚 B型 福岡県 061-844-5933 090-9827-5407 ドコモ 左ルー・せき止め派
杉田 サダヲ すぎた さだお sugita_sadawo@example.com 70 1944/3/18 既婚 O型 福岡県 062-758-9052 090-3874-6697 ドコモ 左ルー・ルー攻め派
小田島 あさみ おだじま あさみ odajima_asami@example.com 35 1979/2/7 既婚 A型 宮城県 047- 77-1832 090-9276-3528 au ぶっかけ・ルー攻め派
佐川 勝久 さがわ かつひさ sagawa_katsuhisa@example.com 76 1938/6/30 既婚 A型 静岡県 021-860-8535 090-2821-2579 ドコモ 手前ルー・混ぜ混ぜ派
大倉 恵麻 おおくら えま ookura_ema@example.com 47 1967/11/26 未婚 O型 大阪府 029-169-9677 090-1053-1799 ドコモ ぶっかけ・別口派
西山 智花 にしやま ともか nishiyama_tomoka@example.com 29 1985/4/10 既婚 B型 東京都 032-174-9949 090- 752- 273 ドコモ ぶっかけ・ルー攻め派
長岡 七世 ながおか ななせ nagaoka_nanase@example.com 59 1955/5/15 未婚 O型 神奈川県 096-424-2030 090-8078-1107 ソフトバンク 左ルー・ルー攻め派
竹下 美和子 たけした みわこ takeshita_miwako@example.com 46 1968/10/16 既婚 A型 熊本県 098- 76- 99 090-1864-9528 ドコモ 左ルー・ルー攻め派
梅田 智花 うめだ ともか umeda_tomoka@example.com 60 1955/1/24 既婚 B型 群馬県 064-651- 488 080-4913-7185 ドコモ 左ルー・混ぜ混ぜ派
白鳥 路子 しらとり みちこ shiratori_michiko@example.com 31 1983/10/22 未婚 A型 大阪府 042-234-3996 090-7270-7234 au 奥ルー・ルー攻め派
宮地 秀隆 みやじ ひでたか miyaji_hidetaka@example.com 31 1983/6/23 既婚 B型 大阪府 093-594-9034 090-3990-1310 ドコモ 左ルー・混ぜ混ぜ派
菅野 優 すがの ゆう sugano_yuu@example.com 62 1952/9/16 既婚 AB型 東京都 047-603-5987 090-7636- 337 ドコモ 右ルー・せき止め派
広田 涼 ひろた りょう hirota_ryou@example.com 36 1978/10/4 既婚 B型 大分県 068-895-1552 090- 102-5614 ドコモ ぶっかけ・せき止め派
野口 ひろみ のぐち ひろみ noguchi_hiromi@example.com 50 1964/10/5 既婚 A型 埼玉県 066-836-7535 080-5288-2659 ドコモ ぶっかけ・せき止め派
末永 怜奈 すえなが れいな suenaga_reina@example.com 51 1963/9/7 既婚 A型 群馬県 077-745-3863 080-5258-2300 ドコモ 左ルー・混ぜ混ぜ派
加藤 真吾 かとう しんご katou_shingo@example.com 40 1974/6/19 既婚 O型 福岡県 053- 75-7773 080-1393-2055 ドコモ 左ルー・せき止め派
小口 秀隆 おぐち ひでたか oguchi_hidetaka@example.com 60 1954/4/16 既婚 O型 京都府 043-841-8780 080-3554- 583 ドコモ ぶっかけ・ルー攻め派
平井 昌代 ひらい まさよ hirai_masayo@example.com 60 1954/10/16 既婚 O型 宮城県 029-924-9416 090-4459-3367 ソフトバンク 右ルー・せき止め派
細川 早織 ほそかわ さおり hosokawa_saori@example.com 22 1992/3/22 既婚 A型 青森県 063- 68-1549 090-5742-2351 au ぶっかけ・ルー攻め派
片山 昌代 かたやま まさよ katayama_masayo@example.com 78 1936/4/27 既婚 A型 東京都 097-898-5209 090-8817-1457 ソフトバンク 奥ルー・ルー攻め派
高瀬 晃司 たかせ こうじ takase_kouji@example.com 79 1935/6/21 既婚 A型 岐阜県 0 6-643-5108 090-6301-5307 ドコモ 左ルー・ルー攻め派
内海 早織 うちみ さおり uchimi_saori@example.com 80 1934/4/12 既婚 A型 福岡県 019-461-6663 090-8674-2927 ソフトバンク ぶっかけ・ルー攻め派
今 美優 いま みゅう ima_myuu@example.com 40 1974/8/26 未婚 B型 千葉県 080- 56-2896 080-8356-1039 au 左ルー・ナン派
半田 圭 はんだ けい hannda_kei@example.com 65 1950/1/7 既婚 A型 北海道 0 7-381-3531 090-3780- 777 au ぶっかけ・別口派
神戸 夏希 こうべ なつき koube_natsuki@example.com 79 1936/1/21 既婚 A型 長野県 0 1-954-6988 080-9492-6205 ドコモ 右ルー・ルー攻め派
西田 剛基 にしだ よしき nishida_yoshiki@example.com 46 1968/10/26 未婚 O型 佐賀県 073-673-6841 090- 505-6481 ソフトバンク 左ルー・混ぜ混ぜ派
北川 窈 きたかわ よう kitakawa_you@example.com 45 1969/10/28 既婚 B型 青森県 091-460-4533 090-2983-9875 ドコモ ぶっかけ・混ぜ混ぜ派
北村 惇 きたむら じゅん kitamura_jun@example.com 64 1950/7/24 既婚 AB型 滋賀県 0 -335-7892 080-1030-2699 au 左ルー・ルー攻め派
田村 憲史 たむら のりひと tamura_norihito@example.com 50 1964/3/1 既婚 O型 大阪府 064-566-9472 080- 959-5949 ドコモ ぶっかけ・せき止め派
高崎 恵望子 たかさき えみこ takasaki_emiko@example.com 78 1936/10/19 既婚 B型 埼玉県 067-298-8450 090-9342-2385 au 左ルー・ルー攻め派
戸田 徹平 とだ てっぺい toda_teppei@example.com 63 1951/9/23 既婚 A型 秋田県 023-788-1821 080-6423-3006 ドコモ ぶっかけ・ルー攻め派
川畑 奈々 かわはた なな kawahata_nana@example.com 24 1990/2/4 既婚 AB型 兵庫県 038-569- 94 080-6633-4007 au 手前ルー・せき止め派
平田 裕次郎 ひらた ゆうじろう hirata_yuujirou@example.com 43 1971/10/12 既婚 B型 東京都 013-596-7601 090-2301-8086 ドコモ ぶっかけ・ルー攻め派
倉本 法嗣 くらもと ほうし kuramoto_houshi@example.com 27 1987/10/2 既婚 A型 東京都 047-692-2913 090-9965-5197 ドコモ ぶっかけ・ルー攻め派
浜野 はるみ はまの はるみ hamano_harumi@example.com 47 1967/10/30 既婚 A型 鹿児島県 060- 3-2688 090-9946-5324 au 奥ルー・混ぜ混ぜ派
@frsyuki
Copy link

frsyuki commented Feb 4, 2015

  • 入力文字コードは、in: charset: に設定できます。UTF-8の代わりに Shift_JIS と指定すれば動くハズです(動かなかったら教えて下さい…)
  • 出力先は、CSVファイル書きだしプラグインが同梱されているので、次の設定で使えるハズです:
out:
  type: local
  directory: /path/to/xyz
  file_name: output
  file_ext: csv.gz
  encoders:
    - {type: gzip}
  formatter:
    header_line: true
    charset: UTF-8
    newline: CRLF
  • "名前を「姓」・「名」に分割"、"血液型を「AB型」から「AB」に"、都道府県名を都道府県コードには、おそらくfilterプラグインがカバーする範囲です。inで受け取ってからoutに渡す前に、レコードを変換することができます。filterプラグインのAPIは次のバージョンで入ります!

@frsyuki
Copy link

frsyuki commented Feb 4, 2015

  • PostgreSQLへの書き出しは、outputプラグインの実装が必要です…!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment