- 日時
2024-04-11
- 作
時雨堂
- バージョン
2024.4
- URL
時雨堂クラウドサービスを支える技術
2024-04-11
時雨堂
2024.4
時雨堂クラウドサービスを支える技術
2024-04-20
@voluntas
2024.3
概要
2024-04-08
@voluntas
2024.1
概要
こんにちは。 @katzchangです。
VOYAGE GROUPでは人事評価制度の一つとして技術力評価会というのが年に2回ほど開催されて、半年くらいの仕事から何かテーマをピックアップしつつ、別チームのエンジニア2名とお話をしつつ、なんと評価までされてしまうという、とても楽しい会があります。
評価する側のエンジニアも多様で、ある程度の評価軸はありつつも、それぞれの質問や評価はそれなりに個性が出るものだろうなーと眺めています。ということで、私なりの質問や評価のポイントをいくつか挙げてみます。
この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。
SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。 (HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。)
前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。
package main | |
import ( | |
"bytes" | |
"crypto/aes" | |
"crypto/cipher" | |
"encoding/base64" | |
"fmt" | |
) |
転職しました。長らくのご愛顧誠にありがとうございました。
転職先をちょくちょく探しています。
興味ある方は twitter @mizchi へのリプライorDM、または mizchi2w@gmail.com まで。
2023-12-14
2023.1
@voluntas
概要