Skip to content

Instantly share code, notes, and snippets.

@externvoid
Created December 18, 2022 22:41
Show Gist options
  • Save externvoid/35ef12799dcdd65d732c84cc2727ee9e to your computer and use it in GitHub Desktop.
Save externvoid/35ef12799dcdd65d732c84cc2727ee9e to your computer and use it in GitHub Desktop.
multitorの使い方(書きかけ)
Err
Rdy
prep
ready
ToGo
クローラーをOnion Router経由で並列実行するには次のデーモンを動かす。
1. ロードバランサー(httpリクエストを複数のhttp proxyへ割り振る)
2. socks proxy(Tor: The Onion Router)からhttp proxyへの変換器
3. Tor
各々haproxy(High Availability load balancing and proxying application), privoxy, torを選択した時にいい感じに起動してくれるShellスクリプトmultitorを試運転してみた。
# プロキシサーバを変えながらのサーバーアクセス
サーバーをテストするため、IPアドレスを変えながらアクセスする方法を調査した。クライアントからのアクセスに成り代わって代理アクセスしてくれる仕組みを探すわけだが2つ見つかった。特に匿名性を求めている訳ではない。2つとは(カッコ内は使用するDaemon、いずれもapt-getでinstall)
1. Socks Proxy(tor, haproxy, privoxy)
2. Http Proxy(proxychains-ng)
だが、前者の調査結果を以下に記載する。
# システム構成
Socks Proxyを使う場合3つのDaemonを使うのだが、各々役割は、
1. Socksネットワークへの接続
2. ロードバランサー(httpリクエストを複数のhttp proxyへ割り振る)
3. socks proxy(Tor: The Onion Router)からhttp proxyへの変換器
1. は匿名アクセスの実現を目的にWAN側で構築されている。ただしHttpアクセスするためのOutput NodeのIPアドレスが[公開](https://check.torproject.org/exit-addresses)されている。サーバー側は匿名アクセスを避けるための対策は容易だ。[Tor Project | Anonymity Online](https://www.torproject.org/)には以前、技術情報が豊富だったが今はTor Browserの普及サイトになっている。[The Tor Project - YouTube](https://www.youtube.com/c/TorProjectInc/videos)動画の更新もここ9ヶ月見られない。tor Daemonの情報、関連コマンド(torify, torsocks)はtorのmanページにある。
2.
multitorはGithub
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment