AIクローラーをブロックする方法

らら
らら

はじめに

最近 AI学習データでいろいろ問題がでてきてますね。。

人物が写った写真とか、自身で書いたイラストとか・・プログラムとか・・・

今回は気休めだけど・・防御方法・・・

方法・・

robots.txtを設置する方法

有名AIクローラーのユーザーエージェント名を調べる・・

ChatGPT：GPTBot,ChatGPT-User
Google：Google-Extended
HTML

など・・

下記をクローラー分記述・・・・

robots.txtで保存して、FTPでウェブサーバーのルートへ

htts://xxxxx.xxx/robots.txtでアクセスできるように設置・・・

User-agent: AIクローラーのユーザーエージェント名
Disallow: /
HTML

手っ取り早く・・・は

下記で・・

https://github.com/ai-robots-txt/ai.robots.txt

引用したもの・・・

User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: Scrapy
User-agent: Sidetrade indexer bot
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: Webzio-Extended
User-agent: YouBot
Disallow: /
HTML

Microsoft bingとかは・・HTMLタグで・・・対応

いまもきくのかね・・・

<meta name="bingbot" content="noarchive">
<meta name="msnbot" content="noarchive">
HTML

さいごに

正直。いたちごっこです。。AIのユーザーエージェント公開しなかったり、不法でとってくるやからもいそうだし・・・

ウェブサイトに、個人の写真など載せない・・引用させてくないものを載せないなど。。。

画像の直リンク禁止とか・・・

SetEnvIf Referer "^https?://www\.example\.com" OK
SetEnvIf Referer "^https?://example\.com" OK
SetEnvIf User-Agent "Google-Site-Verification" OK
SetEnvIf User-Agent "Googlebot" OK
SetEnvIf User-Agent "Slurp" OK
SetEnvIf User-Agent "bingbot" OK
<Files ~ "\.(gif|png|jpg|jpeg)$">
order deny,allow
deny from all
allow from env=OK
</Files>
HTML

関連記事