Data journalist Ben Welsh's analysis shows that about 25% of US-based English news websites are blocking Apple's AI bot 'Applebot-Extended', lower than OpenAI's bot (53% blocked) and Google-Extended (43% blocked). Many news publishers have licensing agreements with AI companies, influencing their bot-blocking decisions. Condé Nast's unblocking of OpenAI's bots after their partnership exemplifies this trend. Buzzfeed blocks all AI web-crawling bots without partnerships. The complexity of managing robots.txt files has led some companies to use automatic update services. Robots.txt management has become a concern for media executives, with some CEOs of major media companies directly deciding which bots to block.
데이터 저널리스트 벤 웰시의 분석에 따르면, 미국 기반 영어 뉴스 웹사이트의 약 25%가 애플의 AI 봇 'Applebot-Extended'를 차단하고 있다. 이는 오픈AI 봇(53% 차단)과 Google-Extended(43% 차단)에 비해 낮은 수치다. 많은 뉴스미디어들이 AI 기업들과 라이선스 계약을 맺고 있으며, 이는 봇 차단 여부에 영향을 미치는 것으로 보인다. 콘데 나스트와 오픈AI의 파트너십 체결 후 봇 차단이 해제된 사례가 이를 뒷받침한다. 버즈피드는 파트너십이 없는 모든 AI 웹 크롤링 봇을 차단 목록에 올린다고 밝혔다. robots.txt 파일 관리의 복잡성으로 인해 일부 기업은 자동 업데이트 서비스를 이용하고 있다. 이제 robots.txt 관리는 웹마스터뿐만 아니라 미디어 경영진의 영역이 되고 있으며, 일부 대형 미디어 기업 CEO들이 직접 차단할 봇을 결정하고 있다.
