AIによる無断スクレイピングに対抗する新ツール「Miasma」

AI企業によるWebサイトへの無断スクレイピング（データ収集）が深刻化するなか、これに対抗するRust製オープンソースツール「Miasma」がGitHubで公開され、注目を集めている。

Miasmaとは何か

Miasmaは、悪意ある自動収集ボット（スクレイパー）を「毒入りデータの無限ループ」に誘い込むことで、AIの学習データ収集を妨害するサーバーツールだ。仕組みはシンプルかつ巧妙で、スクレイパーが訪れたページには偽のゴミデータと、同じサーバーへの自己参照リンクが複数埋め込まれる。スクレイパーはそのリンクを追い続け、永遠に抜け出せない「スラップ（質の低いコンテンツ）の無限ビュッフェ」にはまり込む。

Rustで実装されているため動作が非常に高速で、メモリ消費量も最小限に抑えられている。同時接続数50に制限した場合のピークメモリ使用量は約50〜60MB程度で、サーバーリソースへの影響は軽微だ。

設置方法

インストールはCargoで一行で完了する。

元記事: Miasma: A tool to trap AI web scrapers in an endless poison pit