日時: | 2024-04-11 |
---|---|
作: | 時雨堂 |
バージョン: | 2024.4 |
URL: | https://shiguredo.jp/ |
時雨堂クラウドサービスを支える技術
日時: | 2024-04-11 |
---|---|
作: | 時雨堂 |
バージョン: | 2024.4 |
URL: | https://shiguredo.jp/ |
時雨堂クラウドサービスを支える技術
更新: | 2024-06-08 |
---|---|
作者: | @voluntas |
バージョン: | 2024.10 |
url: | https://voluntas.github.io/ |
概要
更新: | 2024-04-08 |
---|---|
作者: | @voluntas |
バージョン: | 2024.1 |
URL: | https://voluntas.github.io/ |
概要
こんにちは。 @katzchangです。
VOYAGE GROUPでは人事評価制度の一つとして技術力評価会というのが年に2回ほど開催されて、半年くらいの仕事から何かテーマをピックアップしつつ、別チームのエンジニア2名とお話をしつつ、なんと評価までされてしまうという、とても楽しい会があります。
評価する側のエンジニアも多様で、ある程度の評価軸はありつつも、それぞれの質問や評価はそれなりに個性が出るものだろうなーと眺めています。ということで、私なりの質問や評価のポイントをいくつか挙げてみます。
この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。
SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。 (HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。)
前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。
package main | |
import ( | |
"bytes" | |
"crypto/aes" | |
"crypto/cipher" | |
"encoding/base64" | |
"fmt" | |
) |
転職しました。長らくのご愛顧誠にありがとうございました。
転職先をちょくちょく探しています。
興味ある方は twitter @mizchi へのリプライorDM、または mizchi2w@gmail.com まで。
更新: | 2023-12-14 |
---|---|
バージョン: | 2023.1 |
作者: | @voluntas |
URL: | http://voluntas.github.io/ |
概要