Q&A

Docker版とWindows版ではどのように違いますか?

Docker版はDockerコンテナと呼ばれる仮想環境のなかで分散クライアントを動かすもので、Windows版に比べて安定性・安全性ともに高い代わりに、Dockerの動く環境を用意するハードルがあります。もしDockerを既にインストールしている方はDocker版の実行を推奨しますが、よく分からないという場合はWindows版でも問題ありません。

またWindows版ではv2のクライアントの配布も開始しており、v2では処理を最適化すると同時に、ファイル本体をディスクに一切保存せず全てメモリ上で完結するようにしています。これにより万が一ウイルスや違法なファイルがあった場合でも、ディスクに書き込まれることはありません。

何人くらい協力していますか?

11/10 23:57時点で、協力者のクライアントは直近10分に885台、直近1時間に1,116台、直近24時間に3,735台が接続しています。これまでに1ファイル以上保存したクライアントは1,835台、ランキングに載っているアカウントは1,101件です。

協力者の皆さんが11/8 23:24から保存したファイルは約18万ファイル・約700GBです。プロジェクト全体では、121,064件のアップローダー(全体の約51%)と729,306ファイル・約2.16TBの保存が完了しています。

協力すると何かありますか?

/account からXでログインするとトークンが発行されます。トークンをクライアントに設定すると、保存したファイル数がアカウントに記録されます。1ファイル以上保存したアカウントは、保存済みのファイル一覧(/files/)を見ることができます。また、保存したファイル数はランキング(/ranking)に表示されます。

仕事が来ません

サイトへの負荷を減らすために、適度に動かすクライアント数を制御しています。そのため、なかなか仕事が来ないことがありますが、問題ありません。また、Windows版はCloudflareに制限されると2時間休止する仕様のため、その間は仕事を受け取りません。

なぜ家庭の回線が必要なのですか?

多くのレンタルサーバー(Hetzner・Vultr・さくらのクラウドなど)はIPアドレスや事業者(AS)単位で遮断されています。また、日本国外のIPアドレスからはCloudflareの確認画面が表示され、ファイルを取得できません。そのため、日本国内の家庭の回線で、一人あたりのアクセスを少なくして大勢で分担すれば、遮断されにくく取得を続けられます。

分散クライアントを動かし始めましたが、貢献状況が変わりません。

uploader.jp側の負荷軽減のため、仕事の割り振りを止めたり一部の台に絞ったりしていることがあり、そのような場合は最初の仕事が終わるまでに時間がかかる場合がありますので、気長にお待ちください(11/11 0:00追記: 一度でもクライアントを接続すれば貢献状況に関係なくファイル一覧を見れるようにしました)。また日本国外の回線からだと接続できません。他にも、トークンが上手く設定できていない場合は貢献がアカウントに紐づいていない可能性がありますので、コンソール上で自分のXアカウントのスクリーン名が表示されることを確認してください。

機械的なアクセスはやめろと言われているのに良いのか?

まず前提として、プロジェクト全体で速度を制御しており、人が多いときは一人当たり3分に1アクセス未満という速度で実行していますので、IPアドレスの分散は非常に広いもののアクセス頻度という点では手動アクセスよりも圧倒的に遅いです(11/10現在0.005/秒であり、それでも多いので約10%の台のみ仕事を割り振っています)。

またサイト上での注意喚起が表示され始めたのは10/25であり、当プロジェクトに限定して警告しているものではありません。その上でuploader[.]jpのサービス終了に際しては、個人でファイルを一括ダウンロードするツールが多く出回っており、無数の個人がそれぞれ同じファイルを何度もダウンロードするよりは大勢で協力してそれぞれが異なるファイルをダウンロードする方がよいと考えています。

もちろんプログラムによるアクセスであることに変わりはないので望ましいものではありませんが、運営に問い合わせを実施しても一切返答がなく、残り数日でファイルが永久に失われるという点である程度致し方のないものであるという風に考えています。

ウイルスファイルの扱いは?

原理的にマルウェアであるかどうかをページ側では判別不能であるため、ウイルスファイルだけをダウンロードしないようにするということは難しいです。代わりに、実行可能形式ファイルのダウンロードをDockerのクライアントのみに割り当てることでリスクを軽減しています。万が一、Windows Defenderに引っかかったファイルがある場合は処理途中でもそのまま削除していただいて構いません(自動で他の人に仕事を割り振ります)。

ろだに違法ファイルが含まれていた場合どうなりますか?

上記と同様に、違法かどうかというのは判別不能であるため一律でダウンロードを防ぐことは難しく、そのようなファイルのブロッキングをダウンロードの段階で実施することはしていません。そのような違法ファイルの検出は一通りダウンロード作業が終了した後に既知の違法ファイルのハッシュ値などを用いて検証する予定です。とはいえ、実行しているのは単なるアーカイブ作業であり、アップローダー側に違法ファイルが存在していること自体が根本的な原因ですので、アップローダー側で削除されなければアーカイブ側で完全に削除してもあまり意味がないと考えています。

著作権上の問題は?

本プロジェクトは本質的に特定一つのWebサイトについてのWebアーカイブですので、Webアーカイブ全般に対する一般論となりますが、Webアーカイブは著作権法で認められた「引用」をWeb上で仲介するものと理解する解釈があります。データは本来公開されていたものであり、Webアーカイブを使うとその公開元がアクセス不能になった場合でも完全性・再現性を持ってファイルを閲覧することが可能になります。実際、国内でもウェブ魚拓(https://megalodon.jp/)といったサービスが存在しており、Webアーカイブ自体を明確に違法とした判例はありません。

再配布について

現時点で公開方法は未定ですが、一通りInternet Archiveに投げた上で、権利者だけが自らのファイルをダウンロードできるようにし、権利者の許可が得られたアップローダーに限ってはそのまま誰でも自由にダウンロードできるようにしたいと考えています。

アップロードされるファイルが改竄されていないという保証は?

内部でクライアントごとに信頼性の評価をして、未信頼の環境からのアップロードはMD5のハッシュ値を別環境でも取得させて比較・検証しています。そして一度でも偽のデータを送ったクライアントにはあたかも成功したかのような表示をしつつ内部で別のクライアントに割り当てて再回収します。

削除申請について

原則としてアーカイブ自体の削除は(児童ポルノなど明確に違法性のあるものを除き)受け付けていませんが、事情に応じて個別審査で対応する場合があります。

技術者倫理 遵守済み