e-Gov法令検索 http://elaws.e-gov.go.jp/download/lawdownload.html から法令データの一括ダウンロードを行う。10秒のインターバルをしている

fetch_law.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
from pyquery import PyQuery as pq
from datetime import datetime
import re
import os
import shutil
import time

src='http://elaws.e-gov.go.jp/download/lawdownload.html'
dst='http://elaws.e-gov.go.jp/download/'
def down(nowd,f):
    d=dst+f
    res=requests.get(d,stream=True)
    dstf=nowd+os.sep+f
    print(d)
    with open(dstf,'wb') as fp:
        shutil.copyfileobj(res.raw,fp)
def main():
    #r=requests.get(url=src)
    d=pq(src)
    k=d('table#sclTbl')
    nowd=datetime.now().strftime('%Y-%m-%d')
    if not os.path.isdir(nowd):
        os.mkdir(nowd)
    for p in k('a'):
        p=pq(p)
        c=p.attr('href')
        s=re.search("javascript:lawdata_download\('([\d]+.zip)'\)",c)
        if s:
            f=s.group(1)
            down(nowd,f)
            time.sleep(10) #sleep 10 seconds
if __name__=='__main__':main()

必要パッケージ

pyquery==1.2.9
requests==2.9.1

pip install -U pyquery
pip install -U requests

で入ります。