HaskellのPipesでCSVをストリーム処理

README.md

Haskellでストリーム処理を抽象化したPipesライブラリを使ってみる。

今回は、都道府県の面積のCSVファイルを読んだ。

stack build
stack exec hello-pipes < prefs.csv

で実行できる。 面積はkm2単位で、小数点以下は丸めた。

Pipesはメモリ消費が固定で、かなり効率的らしい。
かなり抽象化されているので、応用範囲が広く、 一般的なパースにも、並列プログラミングにも使えるらしい。 今回も、CSVのパーサにcassavaという ライブラリを組み合わせて使っている。

ただし、抽象的なだけあって、イメージしにくく難易度高め。 Producerが値を作って、Pipeで変換して、 Consumerで吐き出しているらしいが、 それぞれの関数の役割がすっきり理解できていない。 本来はドキュメントをもっとちゃんと読まないといけないが、 今回はまず使ってみるだけ。

References

• Pipesのやや詳しいチュートリアル
• かいつまんだ解説
• pipes-csvのGitHub
• Wikipediaより、都道府県の面積

hello-pipes.cabal

name:                hello-pipes
version:             0.1.0.0
build-type:          Simple
cabal-version:       >=1.20

executable hello-pipes
  main-is:             Main.hs
  default-language:    Haskell2010
  default-extensions:  OverloadedStrings
  build-depends:       base
                     , text
                     , cassava
                     , pipes
                     , pipes-bytestring
                     , pipes-csv

Main.hs

import qualified Data.Text as T
import Data.Csv ((.:), FromNamedRecord(..))
import Pipes
import Pipes.Csv (decodeByName)
import Pipes.ByteString (stdin, ByteString)
import Control.Applicative

data Prefecture = Prefecture T.Text Double

instance Show Prefecture where
  show (Prefecture name area) = T.unpack name ++ ": " ++ show (round area) ++ "km2"

instance FromNamedRecord Prefecture where
  parseNamedRecord p =
    Prefecture <$> p .: "name"
               <*> p .: "area"

prefs :: Monad m
        => Producer ByteString m ()
        -> Producer (Either String Prefecture) m ()
prefs = decodeByName

main = runEffect $ for (prefs stdin) $ \(Right pref) -> do
  lift $ putStrLn (show pref)

prefs.csv

stack.yaml

resolver: lts-7.7
packages:
- '.'
extra-deps: []
flags: {}
extra-package-dbs: []