Hacker News · AI· researchaiexe·· 5 時間前厳選AI スコア66
Trakis Researchが13,938サイトを調査:AI学習を遮断するサイトは回答系クローラーもブロックしているのか
Block training, keep answers? What 13,938 sites ask of AI bots
AI ガイド
Trakis Researchによる13,938件のWebサイトのrobots.txtの集計結果によると、Web全体でAI学習用クローラーをブロックする頻度は回答・検索用クローラーの約3倍に達し、GPTBotを指定してブロックしているサイトの17.1%がOAI-SearchBotも同時にブロックしていた。
推薦理由
今回の調査は、AI学習用と検索・回答用のクローラーに対するWebサイト側のブロック対応の分流状況を浮き彫りにしており、自サイトのrobots.txtが生成AI検索からの引用を意図せず遮断していないかを点検するのに役立つ。
出典:Hacker News · AI · trakis.io