Puppeteer を使って Yahoo のニュースをスクレイピング

scraping_yahoonews.js

const puppeteer = require('puppeteer');

(async () => {
    // ブラウザ起動
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    // ヤフーのページを開く
    await page.goto('https://www.yahoo.co.jp/');

    // ヤフーページ内でニュースの一覧を取得する Javascript を実行する
    const scrapingNews = await page.evaluate(() => {
        const news = [];
        const nodes = document.querySelectorAll('.emphasis > li > a');
        nodes.forEach(node => {
            news.push(node.innerText);
        })
        return news;
    });
    console.log(scrapingNews);

    // ブラウザを閉じる
    await browser.close();
})();