Dive Into Python3 6章メモ（クロージャとジェネレータ）

DiveIntoPython3_06.ipynb

{
  "cells": [
    {
      "metadata": {
        "toc": "true"
      },
      "cell_type": "markdown",
      "source": "# Table of Contents\n <p><div class=\"lev1\"><a href=\"#6章クロージャとジェネレータ-1\"><span class=\"toc-item-num\">1&nbsp;&nbsp;</span>6章クロージャとジェネレータ</a></div><div class=\"lev2\"><a href=\"#飛び込む-1.1\"><span class=\"toc-item-num\">1.1&nbsp;&nbsp;</span>飛び込む</a></div><div class=\"lev2\"><a href=\"#正規表現を使う-1.2\"><span class=\"toc-item-num\">1.2&nbsp;&nbsp;</span>正規表現を使う</a></div><div class=\"lev2\"><a href=\"#関数のリスト-1.3\"><span class=\"toc-item-num\">1.3&nbsp;&nbsp;</span>関数のリスト</a></div><div class=\"lev2\"><a href=\"#パターンのリスト-1.4\"><span class=\"toc-item-num\">1.4&nbsp;&nbsp;</span>パターンのリスト</a></div><div class=\"lev2\"><a href=\"#パターンのファイル-1.5\"><span class=\"toc-item-num\">1.5&nbsp;&nbsp;</span>パターンのファイル</a></div><div class=\"lev2\"><a href=\"#ジェネレータ-1.6\"><span class=\"toc-item-num\">1.6&nbsp;&nbsp;</span>ジェネレータ</a></div><div class=\"lev3\"><a href=\"#フィボナッチ数列ジェネレータ-1.6.1\"><span class=\"toc-item-num\">1.6.1&nbsp;&nbsp;</span>フィボナッチ数列ジェネレータ</a></div><div class=\"lev3\"><a href=\"#名詞を複数形にする規則のジェネレータ-1.6.2\"><span class=\"toc-item-num\">1.6.2&nbsp;&nbsp;</span>名詞を複数形にする規則のジェネレータ</a></div><div class=\"lev2\"><a href=\"#参考リンク-1.7\"><span class=\"toc-item-num\">1.7&nbsp;&nbsp;</span>参考リンク</a></div>"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "- [Dive Into Python3 1章メモ](http://nbviewer.jupyter.org/urls/gist.githubusercontent.com/Cartman0/d54093a99b9254c81bf1123adacbc48a/raw/eedc90bbbfc14e259854f2e739fffeec4cb4d8f7/DiveIntoPython3_01.ipynb)\n- [Dive Into Python3 2章メモ（ネイティブデータ型）](http://nbviewer.jupyter.org/urls/gist.githubusercontent.com/Cartman0/988b51d8482ad9ade835bb07efdffb38/raw/784cf276b7cebe254e59f09dcea6f09eea760d38/DiveIntoPython3_02.ipynb)\n- [Dive Into Python3 3章メモ（内包表記）](http://nbviewer.jupyter.org/urls/gist.githubusercontent.com/Cartman0/183ec6f6c835f621106f7c27d215290a/raw/bd7677946d6400bbe6acd257df7fb9c5976c3320/DiveIntoPython3_03.ipynb)\n- [Dive Into Python3 4章メモ（文字列）](http://nbviewer.jupyter.org/urls/gist.githubusercontent.com/Cartman0/bb974f82e8a3fc74ac82c3c2a5b1a4f9/raw/63a80011c9391b451108c1a4dc804ec5ff125f34/DiveIntoPython3_04.ipynb)\n- [Dive Into Python3 5章メモ（正規表現）](http://nbviewer.jupyter.org/urls/gist.githubusercontent.com/Cartman0/b834807a0dabb1c458b87be2f333a5ca/raw/37d6f25f67e017a569e1f0b60a9fcbe49d50515f/DiveIntoPython3_05.ipynb?flush_cache=true)"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "# 6章クロージャとジェネレータ"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## 飛び込む "
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "まずは「名詞の複数形はどのように作るのか」ということから話を始めよう。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "名詞の複数形の基本的な規則：\n- ある単語がS、X、Zで終わっていればESを付ける。\n例えば、Bassはbasses、faxはfaxes、waltzはwaltzesになる。\n- もし単語が有音のHで終わるなら、ESをつける。\n無音のHで終わるなら、Sだけをつければよい。\n有音のHというのは、\n他の文字と組み合わさって、耳に聞こえる音になるHのこと。\n例えば、\n    - coachはcoaches、rashはrashes になる。\n    - cheetahのHは無音なので、cheetahsになる。\n- 単語の終わりのYをIのように発音するなら、YをIESに変える。Yが母音と合わさって別の発音になるなら、ただSだけをつける。だから、\n    - vacancyはvacancies、\n    - dayはdays。\n- もし以上の全ての規則に当てはまらなかったら、単純にSをつけて、あとは「これでうまくいきますように」と願えばいい。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "例外：\n- manはmen、\n- womanはwomenになるが、humanはhumans\n- mouseはmiceに、\n- louseはliceになるのに、\n- houseはhousesになる\n- Knifeはknivesに、\n- wifeはwivesになるのだが、lowlifeはlowlifesになる。\n- 独自の複数形を持つsheepとかdeerとかhaikuとかの単語がある"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## 正規表現を使う"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "少なくとも英語では文字列を調べるということを意味している。そしてここにはいくつかの規則があり、それによれば異なる文字の組み合わせを見つけだした上で、それぞれに異なった処理を施す必要がある"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "正規表現を使った置換について"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "角括弧`[]` は「どれか一文字にマッチする」という意味。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "import re\nre.search('[abc]', 'Mark')",
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "<_sre.SRE_Match object; span=(1, 2), match='a'>"
          },
          "metadata": {},
          "execution_count": 1
        }
      ]
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "re.sub('[abc]', 'o', 'Mark')",
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "'Mork'"
          },
          "metadata": {},
          "execution_count": 2
        }
      ]
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "re.sub('[abc]', 'o', 'rock')",
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "'rook'"
          },
          "metadata": {},
          "execution_count": 3
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "re.subは最初の一つだけではなく、マッチしたもの全てを置換する。だから、この正規表現はcapsをoopsになる。\nこのcとaの両方がoに置き換えられる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "re.sub('[abc]', 'o', 'caps')",
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "'oops'"
          },
          "metadata": {},
          "execution_count": 4
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "否定を使った正規表現について"
    },
    {
      "metadata": {
        "scrolled": true,
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "import re\nre.search('[^aeiou]y$', 'vacancy')",
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "<_sre.SRE_Match object; span=(5, 7), match='cy'>"
          },
          "metadata": {},
          "execution_count": 5
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "boyはマッチしない。oyで終わっているが、yの前の文字がoであってはならないと明示されているからだ。dayもマッチしない。この単語はayで終わっているからだ。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "re.search('[^aeiou]y$', 'boy')",
      "execution_count": 6,
      "outputs": []
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "re.search('[^aeiou]y$', 'day')",
      "execution_count": 7,
      "outputs": []
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "re.search('[^aeiou]y$', 'pita')",
      "execution_count": 8,
      "outputs": []
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "re.sub('y$', 'ies', 'vacancy')",
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "'vacancies'"
          },
          "metadata": {},
          "execution_count": 9
        }
      ]
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "re.sub('y$', 'ies', 'agency')",
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "'agencies'"
          },
          "metadata": {},
          "execution_count": 10
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "この二つの正規表現（一方が規則を適用すべきかを調べ、他方が実際にその規則に従って処理する）を組み合わせて一つの正規表現にすることもできる。\n\n例えば、ケーススタディ: 電話番号をパースするで学んだ、グループを表す括弧が使われていて、ここではyの直前にある文字を記憶するのに使われている。\n\n一方で、置換文字列の中では\\1という新しい構文が使われているが、これは「ねえ、最初に記憶したグループがあったよね？ それをここに置いてよ」ということを表している。この例では、yの前のcを記憶しているので、置換を行うと、cをcで、yをiesで置き換えることになる(記憶されるグループが複数ある場合は、\\2、\\3というように使うことができる)"
    },
    {
      "metadata": {
        "scrolled": true,
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "re.sub('([^aeiou])y$', r'\\1ies', 'vacancy')",
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "'vacancies'"
          },
          "metadata": {},
          "execution_count": 11
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "[sxz]は「s、xまたはz」ということを表しているが、ただしこのどれか一つだけにマッチするものでなくてはならない。この$には馴染みがあるだろう。これは文字列の末尾にマッチするものだ。\nまとめると、この正規表現はnounがs、x、zのいずれかで終わるかどうかを調べている。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "import re\n\ndef plural(noun):\n    if re.search('[sxz]$', noun):\n        return re.sub('$', 'es', noun)\n    elif re.search('[^aeioudgkprt]h$', noun):\n        return re.sub('$', 'es', noun)\n    elif re.search('[^aeiou]y$', noun):\n        return re.sub('y$', 'ies', noun)\n    else:\n        return noun + 's'\n    \n",
      "execution_count": 12,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "```\nre.sub('$', 'es', noun)\n```\n\n文字列の末尾を($でマッチさせて)esで置き換えている。言い換えると、esを文字列に付け加えている。\nこれと同じことは、文字列の連結を使ってもできるのだが(例えば、noun + 'es')、ここではそれぞれの規則について正規表現を使って実装することにする。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "```\nre.search('[^aeioudgkprt]h$', noun):\n```\n有音のHで終わる単語の処理：\n\n- この角括弧の中の一文字目にある^は特別な意味を持っている。つまり否定だ。例えば、[^abc]は「a、b、c以外の一文字」という意味になる。だから、[^aeioudgkprt]はa、e、i、o、u、d、g、k、p、r、t以外の任意の一文字を表すことになるのだ。\n- さらにその文字にhが続き、そこで文字列が終わりになる必要があった。今探しているのは、有音のHで終わる単語。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "Yが末尾にあって、さらにそのYをIというように発音する(直前が子音)単語を探している：\n\n```\nelif re.search('[^aeiou]y$', noun):\n        return re.sub('y$', 'ies', noun)\n```\n\nこれはYで終わる単語で、しかもその直前の文字がa、e、i、o、uのいずれでもないものにマッチする。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "正規表現による置換は非常に強力なものだが、\\1構文を加えると一層強力なものになる。\n\nしかし、全ての処理を一つの正規表現にまとめてしまうと、コードがかなり読みにくくなってしまうし、最初に述べた複数形化の規則の表現とも直接は対応しなくなってしまう。\nもとはといえば、これらの規則は「もし、単語がS、X、Zのいずれかで終わっているなら、ESを加えよ」というように表されていた。plural()関数を見てみれば、「もし、単語がS、X、Zのいずれかで終わっているなら、ESを加えよ」という内容を表す二行のコードがあることがわかるだろう。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## 関数のリスト"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "このコードを抽象化していく。\nこの章では「これこれなら、あの処理をなせ。それ以外の場合は、次の規則にすすめ」という規則のリストを定義することから始めた。\nここでは、とりあえずプログラムの一部を複雑化させることで、他の部分を単純化してみる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "import re\n\ndef match_sxz(noun):\n    return re.search('[sxz]$', noun)\n\ndef apply_sxz(noun):\n    return re.sub('$', 'es', noun)\n\ndef match_h(noun):\n    return re.search('[^aeioudgkprt]h$', noun)\n\ndef apply_h(noun):\n    return re.sub('$', 'es', noun)",
      "execution_count": 13,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "マッチの規則( `match_XX()` )が、\nそれぞれre.search()関数を実行した結果を返す関数で表されるようになっている。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "def match_y(noun):\n    return re.search('[^aeiou]y$', noun)",
      "execution_count": 14,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "処理の規則もそれぞれ `re.sub()` を呼び出す関数で表されていて、適切な複数形化の規則に基づいて処理するようになっている。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "def apply_y(noun):\n    return re.sub('y$', 'ies', noun)\n\ndef match_default(noun):\n    return True\n\ndef apply_default(noun):\n    return noun + 's'",
      "execution_count": 15,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "いくつもの規則が入った一つの関数(plural())を作る代わりに、\n**rulesというデータ構造、つまり関数のペアからなるシーケンス**を作っている。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "rules = ((match_sxz, apply_sxz),\n         (match_h, apply_h),\n         (match_y, apply_y),\n         (match_default, apply_default)\n)",
      "execution_count": 16,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "複数形化の規則が取り出されて別のデータ構造に収められているため、\n新しい `plural()` はほんの数行になっている。\n\nここでは、このようにforループを使うことで、マッチのための規則と処理のための規則の二つをrules構造体から一度に取り出している。\nこのfor文の最初のループでは、mathes_ruleにはmatch_sxzが渡され、apply_ruleにはapply_sxzが渡される。\n\n一方、(一回目では終わらなかったとして)二回目のループではmatches_ruleにmatch_hが割り当てられ、`apply_rule`にapply_hが割り当てられることになる。\n\nさらに言うと、この関数は必ず何らかの値を返すことが保証されている。\nというのも、最後のループのマッチの規則(match_default)は単純にTrueを返すので、ループの終わりまで来た場合には、常にこのマッチの規則に対応する処理規則(apply_default)が適用されることになる。"
    },
    {
      "metadata": {
        "trusted": true,
        "code_folding": [],
        "collapsed": true
      },
      "cell_type": "code",
      "source": "def plural(noun):\n    for matches_rule, apply_rule in rules:\n        if matches_rule(noun):\n            return apply_rule(noun)\n        \n    \n",
      "execution_count": 17,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "ここで加えた抽象化がよく分からなかったら、この関数を展開してみて、それで得られた等価なコードを見てみるとよい。このforループ全体は以下のコードに等しい："
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "```\ndef plural(noun):\n    if match_sxz(noun):\n        return apply_sxz(noun)\n    if match_h(noun):\n        return apply_h(noun)\n    if match_y(noun):\n        return apply_y(noun)\n    if match_default(noun):\n        return apply_default(noun)\n    \n\n```"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "このように抽象化を施す利点は、plural()関数が単純化されるということにある。この関数は、どこか別の所で定義された規則を含むシーケンスをとり、それをイテレートしていくという一般的な処理を行うのだ。\n\n1. マッチルールを取得。\n2. マッチした？ なら、処理のルールを呼び出して、その結果を返す。\n3. マッチしなかった？ それなら1に戻れ。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "この抽象化では、\n例えば、この関数に新しい規則を加える時、\n- 最初のコードだと、plural()関数にif文を加えなくてはならない。\n- 二番目のコードだと、match_foo()とapply_foo()の二つの関数を新たに定義した上で、rulesシーケンスを書き換えて、この新しいマッチ関数と処理関数が、他の関数との関係で何番目に呼び出されるべきなのかを定めなくてはならない。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## パターンのリスト"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "マッチと処理のための規則の一つ一つについて、個別に名前のある関数を定義する必要は、実のところあまりない。そもそも、これらの関数は直接呼び出されるわけではなく、rulesシーケンスに加えられた上で、そこから呼び出される。\nもっと言えば、各々の関数は次の二つのパターンのうちのどちらかに従っている。\n\nつまり、全てのマッチ関数はre.search()を呼び出し、\n全ての処理関数はre.sub()を呼び出す。\n\n新しい規則を定義するのがもっと楽になるように、このパターンを取り出していく。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`build_match_and_apply_functions()` は他の関数を動的に生成する関数。\nこの関数は`pattern、search、replace` を引数にとり、\n`mathes_rule()`関数を定義する。\nこの`mathes_rule()`関数は、`build_match_and_apply_functions()`関数に渡されたpatternと、`mathes_rule()` 自身に渡されるwordを引数として`re.search()` を呼び出す。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "処理関数も同じように生成される。\nこの処理関数は一つの引数をとる関数で、\n`build_match_and_apply_functions()` に渡されたsearchやreplaceと、\nこの`apply_rule()` 自身に渡されたwordを引数として`re.sub()` を呼び出している。\n\nこのように、**動的な関数の中で外部の引数の値を使うテクニックを「クロージャ」**と呼ぶ。実質的には、これらの定数は処理関数内部で定義されていると言える。処理関数は一つの引数(word)をとるのだが、この関数が定義されるときに定められる他の二つの値(searchとreplace)も用いるのだ。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "最後に、`build_match_and_apply_functions()`関数は二つの値が入ったタプル、つまりたった今生成した二つの関数からなるタプルを返す。\nこれらの関数の中で定めた定数(matches_rule()の中のpatternとapply_rule()の中のsearchとreplace)は、build_match_and_apply_functions()から返されたあとも残ってくれる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "import re\n\ndef build_match_and_apply_functions(pattern, search, replace):\n    def matches_rule(word):\n        return re.search(pattern, word)\n    def apply_rule(word):\n        return re.sub(search, replace, word)\n    \n    return (matches_rule, apply_rule)\n",
      "execution_count": 18,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "複数形化の「規則」は、文字列(関数ではない)のタプルからなるタプルとして定義されている。それぞれのグループの最初の文字列は`re.search()` で用いる正規表現のパターンで、\nこれを使って名詞を選別する。\n各グループの二つ目と三つ目の文字列は、検索と置換のための正規表現で、\n`re.sub()` の中で用いて実際に規則を適用し、名詞を複数形にする。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "ここのフォールバックの部分に少し変更が加えられている。前のコードだと、\n`match_default()`関数が単純にTrueを返すようになっていて、\n他の個別の規則のいずれにもマッチしなかった場合には、与えられた単語の終わりにsを付けるという処理を施していた。このコードもそれと機能的に等価な処理を行っている。\n\n最後の正規表現はその単語に終わりがあるかどうかを調べるものだ($は文字列の末尾にマッチする)。もちろん、空白文字を含むあらゆる文字列には終わりがあるので、\nこの正規表現はどんな文字列にもマッチすることになる。\n\nつまり、これは常にTrueを返すmatch_default()と同じ役割を果たすことになるのだ。結局のところ、このコードのおかげで、特定の規則のどれともマッチしないような場合には、\nその単語の末尾にsがつけられることになる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "patterns = (\n    ('[sxz]$',           '$',  'es'),\n    ('[^aeioudgkprt]h$', '$',  'es'),\n    ('(qu|[^aeiou])y$',  'y$', 'ies'),\n    ('$',                '$',  's')\n)\n\n",
      "execution_count": 19,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "patternsに収められた、文字列からなるシーケンスを引数にとり、関数の入ったシーケンスに変えている。\n\n`build_match_and_apply_functions()`関数に文字列を「対応させる」。\nつまり、三つ組の文字列をそれぞれ取り上げ、これらの文字列を引数としてbuild_match_and_apply_functions()を呼び出しているのだ。 build_match_and_apply_functions()は二つの関数からなるタプルを返すので、結局このrulesは機能的に前のコードのものに等しいもの—関数のペアのタプルからなるリスト—になる。\nちなみに、この一つ目の関数はre.search()を呼び出すマッチ関数で。二つ目の関数はre.sub()を呼び出す処理関数だ。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "rules = [build_match_and_apply_functions(pattern, search, replace) \n         for (pattern, search, replace) in patterns]",
      "execution_count": 20,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "このバージョンのスクリプトを締めくくるのは、\nメインのエントリーポイントとなるplural()関数。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "rulesリストは前のコードのものと同じものなので、\nplural()関数に何も手が加えられていなくても少しも驚くことはない。\nこれは規則を表す関数のリストを受け取って順番に呼び出していくだけの、完全に一般的な関数なのであって、その規則がどのように定義されるかなんてことには構わないのだ。前のコードでは、これらはそれぞれ名前のついた関数として定義されていた。\n\n一方、このコードでは `build_match_and_apply_functions()`関数の戻り値と文字列のリストを対応させることで動的に生成されている。\nしかし、こういったことは `plural()` 関数に何の影響も与えない。\nこの関数は以前と同じように動いてくれる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "def plural(noun):\n    for matches_rule, apply_rule in rules:\n        if matches_rule(noun):\n            return apply_rule(noun)\n        \n    \n",
      "execution_count": 21,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## パターンのファイル"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "当然の流れとして、次はこの文字列を取り出して別のファイルに保存できるようにする。\nこうすることで、コードとは別々に管理できるようになる。\n\nまずはテキストファイルを作って、そこにお好みの規則を加えよう。\n手が込んだデータ構造を使うのではなく、単に文字列を空白文字で三列に区切って書けばいい。そしてこれに`plural4-rules.txt` という名前をつける。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "どのようにこのファイルを使うのか。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`build_match_and_apply_functions()`関数は何も変更されていない。\n**クロージャ** を用いて、外部の関数で定義された変数を使用する二つの関数を動的に生成している。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "import re\n\ndef build_match_and_apply_functions(pattern, search, replace):\n    def matches_rule(word):\n        return re.search(pattern, word)\n    def apply_rule(word):\n        return re.sub(search, replace, word)\n    return (matches_rule, apply_rule)\n",
      "execution_count": 22,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "グローバル関数の`open()` はファイルを開いてファイルオブジェクトを返すもの。\nこのコードで開いているファイルには、名詞を複数形にするためのパターンを表す文字列が入っている。\n\n`with`文はいわゆるコンテクストを作るもので、withブロックが終われば、たとえブロック内で例外が送出されていようが、Pythonは自動でファイルを閉じてくれる。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`for line in <fileobject>` というコードは、\n開かれたファイルから一度に一行だけデータ読み込み、その読み出したテキストをline変数に代入していく。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "ファイルの各行には三つの値が入っている。\nこれらの値は空白文字(タブかスペース。どちらでも違いはない)で区切られている。\n\nここから値を切り出すには、`split()` という文字列メソッドを使えばいい。\n`split()`関数の\n- 一番目の引数は`None` になっているが、これは「空白文字(タブかスペース。違いはない)があったらそこで分割する」ということを意味している。\n- 二番目の引数は3だが、「空白文字で3回だけ行を分割して、残りはそのままにしておく」ということを表している。\n\n例えば、`[sxz]$ $ es` のような行は分割されて`['[sxz]$', '$', 'es']` というリストになり、結局、patternには`'[sxz]$'` 、searchには`'$'`、replaceには`'es'`が渡されることになる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "rules = []\nwith open('plural4-rules.txt', encoding='utf-8') as pattern_file:\n    for line in pattern_file:\n        pattern, search, replace = line.split(None, 3)\n        rules.append(build_match_and_apply_functions(pattern, search, replace))\n    \n",
      "execution_count": 23,
      "outputs": []
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "with open('plural4-rules.txt', encoding='utf-8') as pattern_file:\n    print(pattern_file)\n",
      "execution_count": 24,
      "outputs": [
        {
          "output_type": "stream",
          "text": "<_io.TextIOWrapper name='plural4-rules.txt' mode='r' encoding='utf-8'>\n",
          "name": "stdout"
        }
      ]
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "with open('plural4-rules.txt', encoding='utf-8') as pattern_file:\n    for line in pattern_file:\n        print(line)\n    \n",
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "text": "[sxz]$                    $   es\n\n[^aeioudgkprt]h$ $   es\n\n[^aeiou]y$             y$ ies\n\n$                            $    s\n\n",
          "name": "stdout"
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "ここでの改良点は、\n名詞を複数形にする規則を外部のファイルに分離して、コードとは別に管理できるようにしたことにある。\n- コードはコード\n- データはデータ。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## ジェネレータ"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "規則が入ったファイルの解析も行う、より包括的な`plural()`関数があったらすばらしいと思わないだろうか？ 規則を取得する、マッチするかどうかをチェックする、適切な変換を施す、次の規則に移る。plural()関数にこれだけの機能があれば十分だし、またまさしくこの全ての機能を備えているべきだとも言える。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "例"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`yield` というキーワードは、\n`make_counter` が普通の関数ではないことを示している。\nこれは一度に一つだけ値を生成するという特殊な関数なのだ。\n`レジューム（再開）できる関数だと捉えることもできる`。\nこの関数を呼び出すと「**ジェネレータ**」が返されるのだが、\nこのジェネレータを使えばxの値を連続的に生成していくことができる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "def make_counter(x):\n    print('entering make_counter')\n    while True:\n        yield x\n        print('incrementing x')\n        x = x + 1\n    \n",
      "execution_count": 26,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`make_counter`ジェネレータのインスタンスを作るには、\n他の関数と同じように呼び出せばいい。\n気をつけてほしいのは、このように呼び出してもこの関数内のコードは実行されないということだ。現にmake_counter()関数は一行目でprint()を呼び出しているのに、ここには何も出力されていない。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "counter = make_counter(2) ",
      "execution_count": 27,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "make_counter()関数はジェネレータオブジェクトを返す。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "counter",
      "execution_count": 28,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "<generator object make_counter at 0x0000022E91A384C0>"
          },
          "metadata": {},
          "execution_count": 28
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`next()` 関数はジェネレータオブジェクトを受け取って、\nそのジェネレータが次に生成する値を返す。\n最初に`counter`を渡して`next()`関数を呼び出した時には、\n`make_counter()` の一番初めから`yield`文までのコードが実行され、さらにyieldされた値が返される。この場合、make_counter(2)としてこのジェネレータを生成したので、2が返されることになる。"
    },
    {
      "metadata": {
        "scrolled": true,
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "next(counter)",
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "stream",
          "text": "entering make_counter\n",
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "2"
          },
          "metadata": {},
          "execution_count": 29
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "同じジェネレータオブジェクトを渡してnext()を再び呼び出すと、\n中断した所から処理を再開し、次のyield文にあたるまでコードを実行してゆく。\n\nあらゆる変数やジェネレータ内部の状態などはyield文が実行されたときに保存され、next()が呼び出されると復元される。\nこの例では、実行を待っていた次の行のコードはprint()を呼び出してincrementing xと出力するものだった。\nそして、それに続いてx = x + 1という代入文が実行され、それからwhile以下を再びループすることになる。whileループの一番初めにあるのはyield xだから、そこで状態が保存されて現在のxの値(つまり3)が返されるのだ。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "next(counter)",
      "execution_count": 30,
      "outputs": [
        {
          "output_type": "stream",
          "text": "incrementing x\n",
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "3"
          },
          "metadata": {},
          "execution_count": 30
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "二度目にnext(counter)を呼び出した時にも、全く同じ処理が行われる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "next(counter)",
      "execution_count": 31,
      "outputs": [
        {
          "output_type": "stream",
          "text": "incrementing x\n",
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "4"
          },
          "metadata": {},
          "execution_count": 31
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "make_counterのループには終わりが無いので、原理的にはこれを永久に繰り返せる。このジェネレータはいつまでもxをインクリメントして、その値を返し続けてくれる。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "### フィボナッチ数列ジェネレータ"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "フィボナッチ数列とは、それぞれの数がその直前の二つの数の和になっているような数列のこと。\nこの数列は0と1から始まり、最初は緩やかに増加していくのだが、\n後の方になればなるほど急激に値は大きくなってゆく。\nこの数列を生成し始めるには、まず二つの変数を用意しなくてはならない。\nつまり、0から始まるaと、1から始まるbだ。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "aは数列の現時点での値を表している。これをyieldする。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "bは数列の次の値を表す。だからこれをaに代入するのだが、\n同時に次の値(a + b)も計算しておき、後で使えるようにbに代入しておく。\n\nこの処理が平行して行われていることに注意。\nもし、aが3でbが5なら、`a, b = b, a + b` とすると\n- aには5(直前のbの値)が代入され、\n- bには8(直前のaとbの値の和)が代入される。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "def fib(max):\n    (a, b) = (0, 1)\n    while a < max:\n        yield a\n        (a, b) = (b, a + b)\n    \n",
      "execution_count": 32,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "再帰を使っても同じことができるのだが、こうする方が読みやすくなるのだ。ちなみに、この関数はforループで使うこともできる。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`fib()` のようなジェネレータはforループで直接使うことができる。\n「forループは自動でnext()を呼び出し」て、\nfib()ジェネレータから値を受け取り、forループのインデクス変数(n)に代入してくれる。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "forループを反復する度に、fib()のyield文がnに新しい値を渡してくれるので、\n後はその値を出力するだけでいい。fib()の数列が終わりに達したら(aがmax、つまりこの例で言えば1000を越えた場合)、forループはそこで何の問題も起こすことなく終了する。"
    },
    {
      "metadata": {
        "scrolled": true,
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "for n in fib(1000):\n    print(n, end=' ') \n",
      "execution_count": 33,
      "outputs": [
        {
          "output_type": "stream",
          "text": "0 1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987 ",
          "name": "stdout"
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`list()`関数にジェネレータを渡すと、\n(直前の例のforループと同じように)ジェネレータ全体をイテレートして、その全ての値からなるリストを返してくれる。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "list(fib(1000))",
      "execution_count": 34,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": "[0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987]"
          },
          "metadata": {},
          "execution_count": 34
        }
      ]
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "### 名詞を複数形にする規則のジェネレータ"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "このバージョンのplural()関数がどのように動くのか。\n"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "ここでyieldする。二つの関数だよ。これらの関数はお馴染みの`build_match_and_apply_functions()`関数で生成されたものだが、この関数は前のコードから全く変わっていない。要するに、rules()はマッチと処理のための関数をオンデマンドで返してくれるジェネレータなのだ"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": false
      },
      "cell_type": "code",
      "source": "def rules(rules_filename):\n    with open(rules_filename, encoding='utf-8') as pattern_file:\n        for line in pattern_file:\n            pattern, search, replace = line.split(None, 3)\n            yield build_match_and_apply_functions(pattern, search, replace)\n        \n    \n",
      "execution_count": 35,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "`rules()` はジェネレータなので、forループでそのまま使える。forループを最初に実行した時には、まず`rules()`関数が呼び出される。\nこの関数は、パターンファイルを開き、最初の行を読み出した上で、その行に入っているパターンからマッチ関数と処理関数を動的に生成し、その二つの関数をyieldしてくれる。forループを二度目に反復したときには、\nrules()関数が停止した地点(for line in pattern_fileループの途中)から処理を始めることになる。\n\nつまり、最初にファイル(これはまだ開かれたままだ)の次の行の読み出した上で、その行にあるパターンに基づいて別のマッチ関数と処理関数を動的に生成し、この二つの関数をyieldするのだ。"
    },
    {
      "metadata": {
        "trusted": true,
        "collapsed": true
      },
      "cell_type": "code",
      "source": "def plural(noun, rules_filename='plural5-rules.txt'):\n    for matches_rule, apply_rule in rules(rules_filename):\n        if matches_rule(noun):\n            return apply_rule(noun)\n    raise ValueError('no matching rule for {0}'.format(noun))\n",
      "execution_count": 36,
      "outputs": []
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "このコードより何が優れているのか\n\n起動時間だ。四番目のコードでは、plural4モジュールをインポートすると、plural()を呼び出すことを考える間もなく、パターンファイル全体が読み込まれ、適用される可能性のある規則全てを集めたリストが生成された。\n\n- ジェネレータを使えば、のらくらと処理していける。最初に一つ規則を読みこんで関数を作り、試してみる。それで上手くいけば、残りのファイルを読み込んだり別の関数を作ったりすることもない。\n\n1度にファイルのデータすべてを読み込まず、\n1lineずつ読み込んでクローじゃ(factory)をつくり実行するので起動時間(処理の開始)が早くなる。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "パターンファイルを再び開いて、また一行目から読み出していくため、\n代わりに**パフォーマンスを失う**。\n`plural()`関数を呼び出すたびに、`rules()`ジェネレータは最初から処理をやりなおす \n— 。\nそれも一度に一行ずつ。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "この二つの長所を兼ね備えることもできる。\nつまり、\n- 起動時の負担を最小にして(要するにimportしたときにコードを一つも実行することなく)、かつ\n- パフォーマンスを最大にする(同じ関数を何度も何度も作り直さない)。\n\nそれと同じ行を繰り返し読み込まなくてよいなら、規則を別のファイルに保存しておきたい\n(なぜならコードはコードでデータはデータだから)。\n\nそのためにはクラスが必要。"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "## 参考リンク\n"
    },
    {
      "metadata": {},
      "cell_type": "markdown",
      "source": "- [Dive Into Python3 第6章クロージャとジェネレータ](http://diveintopython3-ja.rdy.jp/generators.html)"
    }
  ],
  "metadata": {
    "toc": {
      "toc_window_display": false,
      "toc_cell": true,
      "toc_threshold": "6",
      "toc_number_sections": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3",
      "language": "python"
    },
    "language_info": {
      "version": "3.5.1",
      "codemirror_mode": {
        "version": 3,
        "name": "ipython"
      },
      "name": "python",
      "nbconvert_exporter": "python",
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "pygments_lexer": "ipython3"
    },
    "gist": {
      "id": "",
      "data": {
        "description": "Dive Into Python3 6章メモ（クロージャとジェネレータ）",
        "public": true
      }
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}