Google has become the only search engine able to surface recent results from Reddit, making one of the web's most valuable repositories of user-generated content exclusive to the already dominant search engine. This appears to be the result of a $60 million AI data training deal between Google and Reddit. Reddit has updated its robots.txt file to block most bots from crawling the site. While this change is Reddit's response to indiscriminate data collection by AI companies, it has also strengthened Google's monopoly in the search engine market. This is hindering other companies' ability to compete at a time when Google is facing increasing criticism over its search quality. The situation illustrates another example of the unintended consequences of indiscriminate internet crawling for powering generative AI tools.
구글이 유일하게 레딧의 최신 검색결과를 제공할 수 있게 되어, 가치있는 사용자 생성 콘텐츠 중 하나가 지배적인 검색엔진의 독점 콘텐츠가 되었다. 이는 구글과 레딧 간의 6천만 달러 규모 AI 데이터 훈련 계약의 결과로 보인다. 레딧은 robots.txt 파일을 업데이트하여 대부분의 봇이 사이트를 크롤링하지 못하도록 차단했다. 이러한 변화는 AI 기업들의 무분별한 데이터 수집에 대한 레딧의 대응이지만, 동시에 검색엔진 시장에서 구글의 독점을 강화하는 결과를 낳았다. 이는 구글 검색 품질에 대한 비판이 증가하는 시점에 다른 기업들의 경쟁 능력을 저해하고 있다. 이러한 상황은 생성형 AI 도구를 위한 무차별적인 인터넷 크롤링의 의도치 않은 결과를 보여주는 또 다른 사례이다.
