リクエストの再実行

reproduce_request.rb

require 'uri'
require 'pry'
require 'csv'
require 'time'

REPRODUCE_HOST = 'localhost:4567'
PROTOCOL = 'http'
CURL_COMMAND = 'curl'

def main
  CSV.read(ARGV[0], headers: true).each.with_index(1) do |line, index|
    puts "> #{line}"
    begin
      uri = URI.parse(line['url'])
      reproduce_url = "#{PROTOCOL}://#{REPRODUCE_HOST}#{uri.path}?#{uri.query}"
      remote_ip_address = line['clientip']
      command = "#{CURL_COMMAND} --header \"X-Forwarded-For: #{remote_ip_address}\" \"#{reproduce_url}\""
      puts "#{'%06d' % index} [#{Time.now}] < #{command}"
      `#{command} >/dev/null 2>&1`
      if $?.exitstatus != 0
        STDERR.puts '< [ERROR] curlが異常終了しました'
        binding.pry if $DEBUG
      end
    rescue URI::InvalidURIError => ex
      STDERR.puts '< [ERROR] パースが出来ません。読み飛ばします'
      binding.pry if $DEBUG
    end
  end
rescue => ex
  STDERR.puts ex
  STDERR.puts ex.backtrace
end

main

sample_data.csv

想定

• csvはheader行あり
• シングルスレッド実行
• 実行コマンド nohup ruby reproduce_request.rb ./url_list.csv | tee reproduce_request.rb.log &
  • 時間がかかる為、バックグラウンド実行
  • url_list.csvに、再実行用のcsvファイルがダウンロード済み