Extract site url with Colaboratory

colaboratory_extract_url

# ライブラリインポート
from google.colab import files
from bs4 import BeautifulSoup
import requests
import re

# 対象サイトのsitemap.xmlを指定
response = requests.get('https://example.com/sitemap.xml')
result = response.content
url_lists = ''

bs = BeautifulSoup(result, 'html.parser')

loc_list = bs.select('loc')
for loc in loc_list:
    url_lists += re.sub('<[a-z]>', '', loc.text)
    url_lists += '\n'

# サイトURL一覧出力
print('#'*50)
print('▼サイトURL一覧')
print(url_lists)
print('#'*50)

# サイトURL一覧ダウンロード
with open('sitemap.txt', 'w') as f:
  f.write('▼サイトURL一覧\n')
  f.write('#'*50 + '\n')
  f.write(url_lists)

files.download('sitemap.txt')