Created
December 18, 2022 22:41
-
-
Save externvoid/35ef12799dcdd65d732c84cc2727ee9e to your computer and use it in GitHub Desktop.
multitorの使い方(書きかけ)
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Err | |
Rdy | |
prep | |
ready | |
ToGo | |
クローラーをOnion Router経由で並列実行するには次のデーモンを動かす。 | |
1. ロードバランサー(httpリクエストを複数のhttp proxyへ割り振る) | |
2. socks proxy(Tor: The Onion Router)からhttp proxyへの変換器 | |
3. Tor | |
各々haproxy(High Availability load balancing and proxying application), privoxy, torを選択した時にいい感じに起動してくれるShellスクリプトmultitorを試運転してみた。 | |
# プロキシサーバを変えながらのサーバーアクセス | |
サーバーをテストするため、IPアドレスを変えながらアクセスする方法を調査した。クライアントからのアクセスに成り代わって代理アクセスしてくれる仕組みを探すわけだが2つ見つかった。特に匿名性を求めている訳ではない。2つとは(カッコ内は使用するDaemon、いずれもapt-getでinstall) | |
1. Socks Proxy(tor, haproxy, privoxy) | |
2. Http Proxy(proxychains-ng) | |
だが、前者の調査結果を以下に記載する。 | |
# システム構成 | |
Socks Proxyを使う場合3つのDaemonを使うのだが、各々役割は、 | |
1. Socksネットワークへの接続 | |
2. ロードバランサー(httpリクエストを複数のhttp proxyへ割り振る) | |
3. socks proxy(Tor: The Onion Router)からhttp proxyへの変換器 | |
1. は匿名アクセスの実現を目的にWAN側で構築されている。ただしHttpアクセスするためのOutput NodeのIPアドレスが[公開](https://check.torproject.org/exit-addresses)されている。サーバー側は匿名アクセスを避けるための対策は容易だ。[Tor Project | Anonymity Online](https://www.torproject.org/)には以前、技術情報が豊富だったが今はTor Browserの普及サイトになっている。[The Tor Project - YouTube](https://www.youtube.com/c/TorProjectInc/videos)動画の更新もここ9ヶ月見られない。tor Daemonの情報、関連コマンド(torify, torsocks)はtorのmanページにある。 | |
2. | |
multitorはGithub |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment