u1and0/file0.txt

## file0.txt
# %load ipython_log.py
# IPython log file
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd


# __まずは1ファイルをフレームに取り込んでみる__________________________
names1880=pd.read_csv('yob1880.txt',names=['name', 'sex', 'births'])
names1880.groupby('sex').births.sum()


# __すべてのyobﾅﾝﾄｶ.txtを1つのフレームに取り入れたいとき__________________________
pieces=[]
columns=['name', 'sex', 'births']
years=range(1880,2011)
for year in years:
    path='yob%d.txt' % year
    frame=pd.read_csv(path,names=columns)
    frame['year']=year
    pieces.append(frame)
    names=pd.concat(pieces,ignore_index=True)   #インデックスを無視するTrueにするとtext左列のインデックスを適当に変えてくれる
                     #1690783行の巨大なフレームが出来上がる。それでも検索は高速


# __出生数の推移__________________________
total_births=names.pivot_table(names, index='year', columns='sex', aggfunc=sum)
'''
本では
 total_births = names.pivot_table('births', rows='year',cols='sex', aggfunc=sum)
 のようにあるが、これは古い
 rows=>index
 cols=>columns
 に変更され、
 第一引数にデータフレーム入れないといけない
 (第二引数に'birth'入れなきゃと思ったけどはじかれた・・・？)
'''
total_births.tail()
total_births.plot(title='Total births by sex and year')
'''prop によって全出生数に対する各名前の出生数をはじき出してみる'''
# dataをyear,sexでグループ化し、新しい列に入れる


def add_prop(group):
    '''各名前の出生数の、全出生数に対する割合を出して、groupに列を追加'''
    births = group.births.astype(float)   # Integer division floors
    group['prop'] = births / births.sum()   #propというcolumnに結果を追加
    return group

names = names.groupby(['year', 'sex']).apply(add_prop)

np.allclose(names.groupby(['year','sex']).prop.sum(),1)   # propをすべて足すと1(100%)になることを確認
    # allclose によってチェックする　names.groupby(['year','sex']).prop.sum()と1が等しいか確認


#__Analyzing Naming Trends__________________________
def get_top1000(group):
    '''
    top1000の名前を各sex/year から抜き出す。別のグループ作る
    <旧形式>
    return group.sort_index(by='births', ascending=False)[:1000]
    '''
    return group.sort_values(by='births', ascending=False)[:1000]

grouped=names.groupby(['year','sex'])
top1000=grouped.apply(get_top1000)
'''
__top1000 Another Way__________________________
pieces = []
for year, group in names.groupby(['year', 'sex']):
    pieces.append(group.sort_index(by='births', ascending=False)[:1000])
top1000 = pd.concat(pieces, ignore_index=True)
'''

boys=top1000[top1000.sex=='M']
girls=top1000[top1000.sex=='F']

total_births=top1000.pivot_table('births',index='year',columns='name',aggfunc=sum)   #data munging(データ変換)を行うべくpivot tableで直す
subset=total_births[['John', 'Harry', 'Mary', 'Marilyn']]
subset.plot(subplots=True, figsize=(12,10),grid=False, title="Number of births per year")


# __Measuring the increase in naming diversity__________________________
table=top1000.pivot_table('prop',index='year',columns='sex',aggfunc=sum)   # 名前の多様性を調べるべく、比率をpivot_tableにしてみる
table.plot(title='Sum of table1000.prop by year and sex',yticks=np.linspace(0,1.2,13),xticks=range(1880,2020,10))

# __2010年データの比率をソートする__________________________
df=boys[boys.year==2010]
prop_cumsum=df.sort_values(by='prop',ascending=False).prop.cumsum()   # 累積和cumulativesum`cumsum`使って比率prop=0.5に届く名前を得る
prop_cumsum[:10]
prop_cumsum.searchsorted(0.5)   # その際のインデックスをsearchsorted関数を使って得て、ソートされた列に0.5のcumsumをinsertする

# __1990にも同様に__________________________
df=boys[boys.year==1900]
in1900=df.sort_values(by='prop',ascending=False).prop.cumsum()
in1900.searchsorted(0.5)+1
prop_cumsum[:10]
prop_cumsum=df.sort_values(by='prop',ascending=False).prop.cumsum()

# __1990, 2010年にやったことを全年数に対して実行__________________________
def get_quantile_count(group, q=0.5):
    '''
    propソートして累積和したものの0.5のインデックスを返す
    <旧形式>
        group = group.sort_index(by='prop', ascending=False)
        return group.prop.cumsum().searchsorted(q) + 1
    '''
    group = group.sort_values(by='prop', ascending=False)
    return group.prop.cumsum().values.searchsorted(q) + 1   #return group.prop.cumsum().values.searchsorted(q) + 1 に書き換え valuesくわわった 値がアレイ表示になってしまうのを防ぐ

diversity=top1000.groupby(['year','sex']).apply(get_quantile_count)
diversity=diversity.unstack('sex')   #男女別

diversity.head()
diversity.plot(title="Number of popular names in top 50%")   # 女性のほうが名前の多様性がすべての年において多いことが分かる


# __The "Last letter" Revolution__________________________
get_last_letter=lambda x:x[-1]   # name columnsから最後の文字列だけ抜き出し
last_letters=names.name.map(get_last_letter)   #namesの名前すべてに最後の文字列抜出式(get_last_letter)を適用
last_letters.name='last_letter'
table=names.pivot_table('births',index=last_letters,columns=['sex','year'],aggfunc=sum)

subtable=table.reindex(columns=[1910,1960,2010],level='year')
subtable.head()


subtable.sum()   #全出生数
letter_prop=subtable/subtable.sum().astype(float)   # 文字列比率を取得

fig,axes=plt.subplots(2,1,figsize=(10,8))   #2段のサブプロットで表示
letter_prop['M'].plot(kind='bar',rot=0,ax=axes[0],title='Male')
letter_prop['F'].plot(kind='bar',rot=0,ax=axes[1],title='Female',legend=False)

#男性の名前の最後がnで終わる比率がダントツに高い
#以下で年推移of last 'n' nameを見ていく

letter_prop=table/table.sum().astype(float)   #last_letter各々の全体数に対する比率
dny_ts=letter_prop.ix[['d','n','y'],'M'].T   #d,n,yだけプロットしてみる
                                                                                #'M'男性に対してだけ
                                                                                # .Tでデータフレームの転置行列作る
# dny_ts.head()
# dny_ts.plot()
# plt.show()


#__Boy names that became girl names (and vice versa)__________________________
all_names=top1000.name.unique()   #全名前列挙
mask=np.array(['lesl' in x.lower() for x in all_names])   #lower() 小文字変換メソッド
                                                            #'lesl'という文字含んでいたらTrue返す
#[In]# mask
#[Out]# array([False, False, False, ..., False, False, False], dtype=bool)


lesley_like=all_names[mask]   #all_namesの中の'lesl'含んでいるものだけlesley_likeに格納
#[In]# lesley_like
#[Out]# array(['Leslie', 'Lesley', 'Leslee', 'Lesli', 'Lesly'], dtype=object)


filtered=top1000[top1000.name.isin(lesley_like)]   #top1000の中からlesleyぽい奴だけ抜き出し
#[In]# filtered
#[Out]#                     name sex  births  year      prop
#[Out]# year sex
#[Out]# 1880 F   654      Leslie   F       8  1880  0.000088
#[Out]#      M   1108     Leslie   M      79  1880  0.000715
#[Out]# 1881 F   2523     Leslie   F      11  1881  0.000120
#[Out]#      M   3072     Leslie   M      92  1881  0.000913
#[Out]# 1882 F   4593     Leslie   F       9  1882  0.000083
#[Out]#      M   5081     Leslie   M     122  1882  0.001073
#[Out]#          5865     Lesley   M       6  1882  0.000053
#[Out]# 1883 F   6850     Leslie   F       7  1883  0.000062
#[Out]#      M   7225     Leslie   M     120  1883  0.001147
#[Out]#          8093     Lesley   M       5  1883  0.000048
#[Out]# 1884 F   8697     Leslie   F      15  1884  0.000116
#[Out]#      M   9432     Leslie   M     125  1884  0.001092
#[Out]# 1885 F   11161    Leslie   F      10  1885  0.000075
#[Out]#      M   11751    Leslie   M     122  1885  0.001132
#[Out]# 1886 F   13601    Leslie   F       8  1886  0.000055
#[Out]#      M   14132    Leslie   M     136  1886  0.001228
#[Out]# 1887 F   15806    Leslie   F      12  1887  0.000082
#[Out]#      M   16524    Leslie   M     166  1887  0.001637
#[Out]# 1888 F   18030    Leslie   F      23  1888  0.000129
#[Out]#      M   19074    Leslie   M     175  1888  0.001448
#[Out]# 1889 F   20690    Leslie   F      23  1889  0.000129
#[Out]#      M   21737    Leslie   M     155  1889  0.001402
#[Out]# 1890 F   23332    Leslie   F      20  1890  0.000105
#[Out]#      M   24372    Leslie   M     181  1890  0.001630
#[Out]# 1891 F   25928    Leslie   F      28  1891  0.000151
#[Out]#      M   27068    Leslie   M     164  1891  0.001621
#[Out]# 1892 F   28704    Leslie   F      22  1892  0.000104
#[Out]#      M   29851    Leslie   M     207  1892  0.001696
#[Out]# 1893 F   31576    Leslie   F      26  1893  0.000122
#[Out]#      M   32765    Leslie   M     185  1893  0.001647
#[Out]# ...                  ...  ..     ...   ...       ...
#[Out]# 2000 F   1332261  Leslie   F    3619  2000  0.001995
#[Out]#          1332560   Lesly   F     742  2000  0.000409
#[Out]#          1332601  Lesley   F     658  2000  0.000363
#[Out]# 2001 F   1362012  Leslie   F    3610  2001  0.002007
#[Out]#          1362300   Lesly   F     801  2001  0.000445
#[Out]#          1362452  Lesley   F     509  2001  0.000283
#[Out]# 2002 F   1392272  Leslie   F    3520  2002  0.001962
#[Out]#          1392586   Lesly   F     717  2002  0.000400
#[Out]#          1392743  Lesley   F     471  2002  0.000262
#[Out]# 2003 F   1422818  Leslie   F    3635  2003  0.001992
#[Out]#          1423091   Lesly   F     838  2003  0.000459
#[Out]#          1423330  Lesley   F     451  2003  0.000247
#[Out]# 2004 F   1453982  Leslie   F    3497  2004  0.001908
#[Out]#          1454295   Lesly   F     747  2004  0.000408
#[Out]#          1454500  Lesley   F     450  2004  0.000245
#[Out]# 2005 F   1486010  Leslie   F    3120  2005  0.001692
#[Out]#          1486308   Lesly   F     783  2005  0.000425
#[Out]#          1486623  Lesley   F     381  2005  0.000207
#[Out]# 2006 F   1518523  Leslie   F    3035  2006  0.001600
#[Out]#          1518834   Lesly   F     761  2006  0.000401
#[Out]#          1519161  Lesley   F     370  2006  0.000195
#[Out]# 2007 F   1552581  Leslie   F    2689  2007  0.001403
#[Out]#          1552882   Lesly   F     765  2007  0.000399
#[Out]#          1553271  Lesley   F     351  2007  0.000183
#[Out]# 2008 F   1587484  Leslie   F    2323  2008  0.001233
#[Out]#          1587788   Lesly   F     699  2008  0.000371
#[Out]# 2009 F   1622503  Leslie   F    1975  2009  0.001081
#[Out]#          1622845   Lesly   F     598  2009  0.000327
#[Out]# 2010 F   1657142  Leslie   F    1558  2010  0.000886
#[Out]#          1657525   Lesly   F     502  2010  0.000285
#[Out]#
#[Out]# [400 rows x 5 columns]


filtered.groupby('name').births.sum()   #nameでグループ化してその出生数を合計する
#[Out]# name
#[Out]# Leslee      1082
#[Out]# Lesley     35022
#[Out]# Lesli        929
#[Out]# Leslie    370429
#[Out]# Lesly      10067
#[Out]# Name: births, dtype: int64


table=filtered.pivot_table('births',index='year',columns='sex',aggfunc=sum)   # sex, yearごとに集計
#[Out]# sex        F      M
#[Out]# year
#[Out]# 1880     8.0   79.0
#[Out]# 1881    11.0   92.0
#[Out]# 1882     9.0  128.0
#[Out]# 1883     7.0  125.0
#[Out]# 1884    15.0  125.0
#[Out]# 1885    10.0  122.0
#[Out]# 1886     8.0  136.0
#[Out]# 1887    12.0  166.0
#[Out]# 1888    23.0  175.0
#[Out]# 1889    23.0  155.0
#[Out]# 1890    20.0  181.0
#[Out]# 1891    28.0  164.0
#[Out]# 1892    22.0  207.0
#[Out]# 1893    26.0  185.0
#[Out]# 1894    36.0  223.0
#[Out]# 1895    22.0  235.0
#[Out]# 1896    27.0  237.0
#[Out]# 1897    34.0  222.0
#[Out]# 1898    24.0  236.0
#[Out]# 1899    18.0  181.0
#[Out]# 1900    30.0  285.0
#[Out]# 1901    29.0  204.0
#[Out]# 1902    37.0  251.0
#[Out]# 1903    24.0  244.0
#[Out]# 1904    30.0  243.0
#[Out]# 1905    35.0  247.0
#[Out]# 1906    29.0  263.0
#[Out]# 1907    34.0  273.0
#[Out]# 1908    41.0  290.0
#[Out]# 1909    35.0  292.0
#[Out]# ...      ...    ...
#[Out]# 1981  5796.0  500.0
#[Out]# 1982  5814.0  430.0
#[Out]# 1983  4975.0  414.0
#[Out]# 1984  4419.0  367.0
#[Out]# 1985  4168.0  331.0
#[Out]# 1986  3741.0  379.0
#[Out]# 1987  3666.0  290.0
#[Out]# 1988  3555.0  318.0
#[Out]# 1989  3259.0  327.0
#[Out]# 1990  3268.0  295.0
#[Out]# 1991  2920.0  277.0
#[Out]# 1992  2836.0  216.0
#[Out]# 1993  2607.0  201.0
#[Out]# 1994  2685.0  207.0
#[Out]# 1995  2782.0  186.0
#[Out]# 1996  3584.0  176.0
#[Out]# 1997  3847.0  158.0
#[Out]# 1998  4289.0    NaN
#[Out]# 1999  4693.0    NaN
#[Out]# 2000  5019.0    NaN
#[Out]# 2001  4920.0    NaN
#[Out]# 2002  4708.0    NaN
#[Out]# 2003  4924.0    NaN
#[Out]# 2004  4694.0    NaN
#[Out]# 2005  4284.0    NaN
#[Out]# 2006  4166.0    NaN
#[Out]# 2007  3805.0    NaN
#[Out]# 2008  3022.0    NaN
#[Out]# 2009  2573.0    NaN
#[Out]# 2010  2060.0    NaN
#[Out]#
#[Out]# [131 rows x 2 columns]


table=table.div(table.sum(1),axis=0)   #正規化
# table.tail()
#[Out]# sex     F   M
#[Out]# year
#[Out]# 2006  1.0 NaN
#[Out]# 2007  1.0 NaN
#[Out]# 2008  1.0 NaN
#[Out]# 2009  1.0 NaN
#[Out]# 2010  1.0 NaN
# table.head()
#[Out]# sex          F         M
#[Out]# year
#[Out]# 1880  0.091954  0.908046
#[Out]# 1881  0.106796  0.893204
#[Out]# 1882  0.065693  0.934307
#[Out]# 1883  0.053030  0.946970
#[Out]# 1884  0.107143  0.892857


table.plot(style={'M':'k-','F':'k--'})
#[Out]# <matplotlib.axes._subplots.AxesSubplot at 0x227b78e6400>
	# %load ipython_log.py
	# IPython log file
	import matplotlib.pyplot as plt
	import numpy as np
	import pandas as pd


	# __まずは1ファイルをフレームに取り込んでみる__________________________
	names1880=pd.read_csv('yob1880.txt',names=['name', 'sex', 'births'])
	names1880.groupby('sex').births.sum()


	# __すべてのyobﾅﾝﾄｶ.txtを1つのフレームに取り入れたいとき__________________________
	pieces=[]
	columns=['name', 'sex', 'births']
	years=range(1880,2011)
	for year in years:
	path='yob%d.txt' % year
	frame=pd.read_csv(path,names=columns)
	frame['year']=year
	pieces.append(frame)
	names=pd.concat(pieces,ignore_index=True) #インデックスを無視するTrueにするとtext左列のインデックスを適当に変えてくれる
	#1690783行の巨大なフレームが出来上がる。それでも検索は高速


	# __出生数の推移__________________________
	total_births=names.pivot_table(names, index='year', columns='sex', aggfunc=sum)
	'''
	本では
	total_births = names.pivot_table('births', rows='year',cols='sex', aggfunc=sum)
	のようにあるが、これは古い
	rows=>index
	cols=>columns
	に変更され、
	第一引数にデータフレーム入れないといけない
	(第二引数に'birth'入れなきゃと思ったけどはじかれた・・・？)
	'''
	total_births.tail()
	total_births.plot(title='Total births by sex and year')
	'''prop によって全出生数に対する各名前の出生数をはじき出してみる'''
	# dataをyear,sexでグループ化し、新しい列に入れる





	def add_prop(group):
	'''各名前の出生数の、全出生数に対する割合を出して、groupに列を追加'''
	births = group.births.astype(float) # Integer division floors
	group['prop'] = births / births.sum() #propというcolumnに結果を追加
	return group

	names = names.groupby(['year', 'sex']).apply(add_prop)

	np.allclose(names.groupby(['year','sex']).prop.sum(),1) # propをすべて足すと1(100%)になることを確認
	# allclose によってチェックする　names.groupby(['year','sex']).prop.sum()と1が等しいか確認










	#__Analyzing Naming Trends__________________________
	def get_top1000(group):
	'''
	top1000の名前を各sex/year から抜き出す。別のグループ作る
	<旧形式>
	return group.sort_index(by='births', ascending=False)[:1000]
	'''
	return group.sort_values(by='births', ascending=False)[:1000]

	grouped=names.groupby(['year','sex'])
	top1000=grouped.apply(get_top1000)
	'''
	__top1000 Another Way__________________________
	pieces = []
	for year, group in names.groupby(['year', 'sex']):
	pieces.append(group.sort_index(by='births', ascending=False)[:1000])
	top1000 = pd.concat(pieces, ignore_index=True)
	'''

	boys=top1000[top1000.sex=='M']
	girls=top1000[top1000.sex=='F']

	total_births=top1000.pivot_table('births',index='year',columns='name',aggfunc=sum) #data munging(データ変換)を行うべくpivot tableで直す
	subset=total_births[['John', 'Harry', 'Mary', 'Marilyn']]
	subset.plot(subplots=True, figsize=(12,10),grid=False, title="Number of births per year")








	# __Measuring the increase in naming diversity__________________________
	table=top1000.pivot_table('prop',index='year',columns='sex',aggfunc=sum) # 名前の多様性を調べるべく、比率をpivot_tableにしてみる
	table.plot(title='Sum of table1000.prop by year and sex',yticks=np.linspace(0,1.2,13),xticks=range(1880,2020,10))

	# __2010年データの比率をソートする__________________________
	df=boys[boys.year==2010]
	prop_cumsum=df.sort_values(by='prop',ascending=False).prop.cumsum() # 累積和cumulativesum`cumsum`使って比率prop=0.5に届く名前を得る
	prop_cumsum[:10]
	prop_cumsum.searchsorted(0.5) # その際のインデックスをsearchsorted関数を使って得て、ソートされた列に0.5のcumsumをinsertする

	# __1990にも同様に__________________________
	df=boys[boys.year==1900]
	in1900=df.sort_values(by='prop',ascending=False).prop.cumsum()
	in1900.searchsorted(0.5)+1
	prop_cumsum[:10]
	prop_cumsum=df.sort_values(by='prop',ascending=False).prop.cumsum()

	# __1990, 2010年にやったことを全年数に対して実行__________________________
	def get_quantile_count(group, q=0.5):
	'''
	propソートして累積和したものの0.5のインデックスを返す
	<旧形式>
	group = group.sort_index(by='prop', ascending=False)
	return group.prop.cumsum().searchsorted(q) + 1
	'''
	group = group.sort_values(by='prop', ascending=False)
	return group.prop.cumsum().values.searchsorted(q) + 1 #return group.prop.cumsum().values.searchsorted(q) + 1 に書き換え valuesくわわった値がアレイ表示になってしまうのを防ぐ

	diversity=top1000.groupby(['year','sex']).apply(get_quantile_count)
	diversity=diversity.unstack('sex') #男女別

	diversity.head()
	diversity.plot(title="Number of popular names in top 50%") # 女性のほうが名前の多様性がすべての年において多いことが分かる



	# __The "Last letter" Revolution__________________________
	get_last_letter=lambda x:x[-1] # name columnsから最後の文字列だけ抜き出し
	last_letters=names.name.map(get_last_letter) #namesの名前すべてに最後の文字列抜出式(get_last_letter)を適用
	last_letters.name='last_letter'
	table=names.pivot_table('births',index=last_letters,columns=['sex','year'],aggfunc=sum)

	subtable=table.reindex(columns=[1910,1960,2010],level='year')
	subtable.head()


	subtable.sum() #全出生数
	letter_prop=subtable/subtable.sum().astype(float) # 文字列比率を取得

	fig,axes=plt.subplots(2,1,figsize=(10,8)) #2段のサブプロットで表示
	letter_prop['M'].plot(kind='bar',rot=0,ax=axes[0],title='Male')
	letter_prop['F'].plot(kind='bar',rot=0,ax=axes[1],title='Female',legend=False)

	#男性の名前の最後がnで終わる比率がダントツに高い
	#以下で年推移of last 'n' nameを見ていく

	letter_prop=table/table.sum().astype(float) #last_letter各々の全体数に対する比率
	dny_ts=letter_prop.ix[['d','n','y'],'M'].T #d,n,yだけプロットしてみる
	#'M'男性に対してだけ
	# .Tでデータフレームの転置行列作る
	# dny_ts.head()
	# dny_ts.plot()
	# plt.show()













	#__Boy names that became girl names (and vice versa)__________________________
	all_names=top1000.name.unique() #全名前列挙
	mask=np.array(['lesl' in x.lower() for x in all_names]) #lower() 小文字変換メソッド
	#'lesl'という文字含んでいたらTrue返す
	#[In]# mask
	#[Out]# array([False, False, False, ..., False, False, False], dtype=bool)




	lesley_like=all_names[mask] #all_namesの中の'lesl'含んでいるものだけlesley_likeに格納
	#[In]# lesley_like
	#[Out]# array(['Leslie', 'Lesley', 'Leslee', 'Lesli', 'Lesly'], dtype=object)





	filtered=top1000[top1000.name.isin(lesley_like)] #top1000の中からlesleyぽい奴だけ抜き出し
	#[In]# filtered
	#[Out]# name sex births year prop
	#[Out]# year sex
	#[Out]# 1880 F 654 Leslie F 8 1880 0.000088
	#[Out]# M 1108 Leslie M 79 1880 0.000715
	#[Out]# 1881 F 2523 Leslie F 11 1881 0.000120
	#[Out]# M 3072 Leslie M 92 1881 0.000913
	#[Out]# 1882 F 4593 Leslie F 9 1882 0.000083
	#[Out]# M 5081 Leslie M 122 1882 0.001073
	#[Out]# 5865 Lesley M 6 1882 0.000053
	#[Out]# 1883 F 6850 Leslie F 7 1883 0.000062
	#[Out]# M 7225 Leslie M 120 1883 0.001147
	#[Out]# 8093 Lesley M 5 1883 0.000048
	#[Out]# 1884 F 8697 Leslie F 15 1884 0.000116
	#[Out]# M 9432 Leslie M 125 1884 0.001092
	#[Out]# 1885 F 11161 Leslie F 10 1885 0.000075
	#[Out]# M 11751 Leslie M 122 1885 0.001132
	#[Out]# 1886 F 13601 Leslie F 8 1886 0.000055
	#[Out]# M 14132 Leslie M 136 1886 0.001228
	#[Out]# 1887 F 15806 Leslie F 12 1887 0.000082
	#[Out]# M 16524 Leslie M 166 1887 0.001637
	#[Out]# 1888 F 18030 Leslie F 23 1888 0.000129
	#[Out]# M 19074 Leslie M 175 1888 0.001448
	#[Out]# 1889 F 20690 Leslie F 23 1889 0.000129
	#[Out]# M 21737 Leslie M 155 1889 0.001402
	#[Out]# 1890 F 23332 Leslie F 20 1890 0.000105
	#[Out]# M 24372 Leslie M 181 1890 0.001630
	#[Out]# 1891 F 25928 Leslie F 28 1891 0.000151
	#[Out]# M 27068 Leslie M 164 1891 0.001621
	#[Out]# 1892 F 28704 Leslie F 22 1892 0.000104
	#[Out]# M 29851 Leslie M 207 1892 0.001696
	#[Out]# 1893 F 31576 Leslie F 26 1893 0.000122
	#[Out]# M 32765 Leslie M 185 1893 0.001647
	#[Out]# ... ... .. ... ... ...
	#[Out]# 2000 F 1332261 Leslie F 3619 2000 0.001995
	#[Out]# 1332560 Lesly F 742 2000 0.000409
	#[Out]# 1332601 Lesley F 658 2000 0.000363
	#[Out]# 2001 F 1362012 Leslie F 3610 2001 0.002007
	#[Out]# 1362300 Lesly F 801 2001 0.000445
	#[Out]# 1362452 Lesley F 509 2001 0.000283
	#[Out]# 2002 F 1392272 Leslie F 3520 2002 0.001962
	#[Out]# 1392586 Lesly F 717 2002 0.000400
	#[Out]# 1392743 Lesley F 471 2002 0.000262
	#[Out]# 2003 F 1422818 Leslie F 3635 2003 0.001992
	#[Out]# 1423091 Lesly F 838 2003 0.000459
	#[Out]# 1423330 Lesley F 451 2003 0.000247
	#[Out]# 2004 F 1453982 Leslie F 3497 2004 0.001908
	#[Out]# 1454295 Lesly F 747 2004 0.000408
	#[Out]# 1454500 Lesley F 450 2004 0.000245
	#[Out]# 2005 F 1486010 Leslie F 3120 2005 0.001692
	#[Out]# 1486308 Lesly F 783 2005 0.000425
	#[Out]# 1486623 Lesley F 381 2005 0.000207
	#[Out]# 2006 F 1518523 Leslie F 3035 2006 0.001600
	#[Out]# 1518834 Lesly F 761 2006 0.000401
	#[Out]# 1519161 Lesley F 370 2006 0.000195
	#[Out]# 2007 F 1552581 Leslie F 2689 2007 0.001403
	#[Out]# 1552882 Lesly F 765 2007 0.000399
	#[Out]# 1553271 Lesley F 351 2007 0.000183
	#[Out]# 2008 F 1587484 Leslie F 2323 2008 0.001233
	#[Out]# 1587788 Lesly F 699 2008 0.000371
	#[Out]# 2009 F 1622503 Leslie F 1975 2009 0.001081
	#[Out]# 1622845 Lesly F 598 2009 0.000327
	#[Out]# 2010 F 1657142 Leslie F 1558 2010 0.000886
	#[Out]# 1657525 Lesly F 502 2010 0.000285
	#[Out]#
	#[Out]# [400 rows x 5 columns]











	filtered.groupby('name').births.sum() #nameでグループ化してその出生数を合計する
	#[Out]# name
	#[Out]# Leslee 1082
	#[Out]# Lesley 35022
	#[Out]# Lesli 929
	#[Out]# Leslie 370429
	#[Out]# Lesly 10067
	#[Out]# Name: births, dtype: int64







	table=filtered.pivot_table('births',index='year',columns='sex',aggfunc=sum) # sex, yearごとに集計
	#[Out]# sex F M
	#[Out]# year
	#[Out]# 1880 8.0 79.0
	#[Out]# 1881 11.0 92.0
	#[Out]# 1882 9.0 128.0
	#[Out]# 1883 7.0 125.0
	#[Out]# 1884 15.0 125.0
	#[Out]# 1885 10.0 122.0
	#[Out]# 1886 8.0 136.0
	#[Out]# 1887 12.0 166.0
	#[Out]# 1888 23.0 175.0
	#[Out]# 1889 23.0 155.0
	#[Out]# 1890 20.0 181.0
	#[Out]# 1891 28.0 164.0
	#[Out]# 1892 22.0 207.0
	#[Out]# 1893 26.0 185.0
	#[Out]# 1894 36.0 223.0
	#[Out]# 1895 22.0 235.0
	#[Out]# 1896 27.0 237.0
	#[Out]# 1897 34.0 222.0
	#[Out]# 1898 24.0 236.0
	#[Out]# 1899 18.0 181.0
	#[Out]# 1900 30.0 285.0
	#[Out]# 1901 29.0 204.0
	#[Out]# 1902 37.0 251.0
	#[Out]# 1903 24.0 244.0
	#[Out]# 1904 30.0 243.0
	#[Out]# 1905 35.0 247.0
	#[Out]# 1906 29.0 263.0
	#[Out]# 1907 34.0 273.0
	#[Out]# 1908 41.0 290.0
	#[Out]# 1909 35.0 292.0
	#[Out]# ... ... ...
	#[Out]# 1981 5796.0 500.0
	#[Out]# 1982 5814.0 430.0
	#[Out]# 1983 4975.0 414.0
	#[Out]# 1984 4419.0 367.0
	#[Out]# 1985 4168.0 331.0
	#[Out]# 1986 3741.0 379.0
	#[Out]# 1987 3666.0 290.0
	#[Out]# 1988 3555.0 318.0
	#[Out]# 1989 3259.0 327.0
	#[Out]# 1990 3268.0 295.0
	#[Out]# 1991 2920.0 277.0
	#[Out]# 1992 2836.0 216.0
	#[Out]# 1993 2607.0 201.0
	#[Out]# 1994 2685.0 207.0
	#[Out]# 1995 2782.0 186.0
	#[Out]# 1996 3584.0 176.0
	#[Out]# 1997 3847.0 158.0
	#[Out]# 1998 4289.0 NaN
	#[Out]# 1999 4693.0 NaN
	#[Out]# 2000 5019.0 NaN
	#[Out]# 2001 4920.0 NaN
	#[Out]# 2002 4708.0 NaN
	#[Out]# 2003 4924.0 NaN
	#[Out]# 2004 4694.0 NaN
	#[Out]# 2005 4284.0 NaN
	#[Out]# 2006 4166.0 NaN
	#[Out]# 2007 3805.0 NaN
	#[Out]# 2008 3022.0 NaN
	#[Out]# 2009 2573.0 NaN
	#[Out]# 2010 2060.0 NaN
	#[Out]#
	#[Out]# [131 rows x 2 columns]



	table=table.div(table.sum(1),axis=0) #正規化
	# table.tail()
	#[Out]# sex F M
	#[Out]# year
	#[Out]# 2006 1.0 NaN
	#[Out]# 2007 1.0 NaN
	#[Out]# 2008 1.0 NaN
	#[Out]# 2009 1.0 NaN
	#[Out]# 2010 1.0 NaN
	# table.head()
	#[Out]# sex F M
	#[Out]# year
	#[Out]# 1880 0.091954 0.908046
	#[Out]# 1881 0.106796 0.893204
	#[Out]# 1882 0.065693 0.934307
	#[Out]# 1883 0.053030 0.946970
	#[Out]# 1884 0.107143 0.892857



	table.plot(style={'M':'k-','F':'k--'})
	#[Out]# <matplotlib.axes._subplots.AxesSubplot at 0x227b78e6400>