| #!/usr/bin/env bash | |
| set -Eeuo pipefail | |
| trap cleanup SIGINT SIGTERM ERR EXIT | |
| script_dir=$(cd "$(dirname "${BASH_SOURCE[0]}")" &>/dev/null && pwd -P) | |
| usage() { | |
| cat <<EOF | |
| Usage: $(basename "${BASH_SOURCE[0]}") [-h] [-v] [-f] -p param_value arg1 [arg2...] |
この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。
SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。 （HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。）
前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。
| #!/usr/bin/env perl | |
| # generate-fontmap family mincho-l.Xtf mincho-m.Xtf mincho-b.Xtf \ | |
| # gothic-m.Xtf gothic-b.Xtf gothic-e.Xtf marugothic.Xtf | |
| use strict; | |
| ($#ARGV == 7) or die "Wrong number of arguments"; | |
| my ($fam, $mcl, $mcr, $mcb, $gtr, $gtb, $gte, $mgr) = @ARGV; | |
| foreach my $fi (qw( | |
| otf-hiragino.map | |
| otf-up-hiragino.map | |
| ptex-hiragino-04.map |
| #!/bin/sh | |
| for i in $(az group list | jq -r '.[].name'); | |
| do | |
| echo resource group $i include resouces below | |
| az resource list -g $i | jq | |
| echo will delete $i | |
| az group delete --name $i --no-wait | |
| done |
| du -sh ./* | sort -nr |