AIによるWebスクレイピングの約2割、HTTP 200応答でも有用なコンテンツを含まず＝調査結果

AIエージェントによるWebコンテンツ取得に関する最新の研究によると、静的クライアントが取得したHTTP 200応答のうち20.9%にはWebページの本文が含まれておらず、空のシェルページ、CAPTCHAによるブロック、エラー画面、あるいは代替ページが返されていたことが明らかになった。