大規模ウェブクロールコーパスにおけるテキスト含有の堅牢でスケーラブルな検出

インターネット上には、日々膨大な量の情報が生まれています。その中には、誰かが一生懸命作った文章や作品もたくさん含まれています。でも、気づかないうちに、誰かの書いた文章がそのまま、あるいは少しだけ変えられて、別の場所で使われてしまうことがあります。これは、せっかく作った人にとっては悲しいことですよね。

そんな問題を解決するために、新しいPythonパッケージ「FindMyText（ファインドマイテキスト）」が開発されました。これは、ある文章が、インターネット上のたくさんの情報（「コーパス」といいます）の中に、どれくらいそのままの形で存在しているのかを、効率的に調べてくれるスグレモノです。

FindMyTextのすごいところは、単に似ている文章を見つけるだけでなく、「ほぼそのままコピーされている」ということを、より確実に見つけ出せる点にあります。これは、文章の「断片」だけでなく、それがつながった「一連の流れ」を捉える新しい仕組みのおかげです。例えるなら、単語が似ているかを見るだけでなく、文章の「節」や「段落」がそのまま使われているかどうかを、より正確にチェックできるイメージです。

この技術は、特に「著作権」に関わる場面で役立つと考えられています。例えば、あなたが書いた記事が、許可なく他のサイトで使われていないかを確認するのに使えるかもしれません。また、学術論文などでも、他の論文からどのくらい引用されているか、あるいは無断で使われていないかなどを調べるのに役立つでしょう。

さらに、FindMyTextは「分散型のディスクベースのインデックス作成フレームワーク」という、ちょっと難しい名前の技術を使っています。これは、たくさんのコンピューターや、たくさんのデータを効率的に扱える仕組みのことです。おかげで、インターネット全体のような、とてつもなく大きなデータセット（「ウェブクロールデータセット」といいます）でも、このツールを動かすことができるのです。つまり、規模の大小に関わらず、多くの場面で活用できる可能性を秘めています。

実際に、FindMyTextがどれくらい優れているかを調べるために、研究者たちは新しいテスト（「ベンチマーク」といいます）を作りました。その結果、このツールは、学術論文のデータ、Wikipedia、そして一般的なウェブサイトのコンテンツという、3つの異なる種類のデータセットで、これまでの他の方法よりも良い結果を出したそうです。これは、FindMyTextが、さまざまな状況でテキストの「コピー」を見つけるのに、とても効果的であることを示しています。