すべてのクローラーをブロックする robots.txt を配信する Cloudflare Worker

ban-robots.js

const CONTENT = `
User-agent: *
Disallow: /
`.trim()

export default {
  async fetch(request) {
    const url = new URL(request.url);
    if (url.pathname.endsWith('/robots.txt')) {
      return new Response(CONTENT, {
        headers: {
          'Content-Type': 'text/plain',
        }
      })
    }

    const response = await fetch(request);
    const newHeaders = new Headers(response.headers);
    newHeaders.set('X-Robots-Tag', 'none');
    return new Response(response.body, {
      status: response.status,
      statusText: response.statusText,
      headers: newHeaders,
    })
  },
};