워싱턴포스트가 주요 AI 챗봇 5개의 문서 요약 능력을 실제 전문가와 함께 비교 테스트한 결과 클로드가 종합 1위를 차지했다.
테스트는 소설, 의학 연구논문, 법률 계약서, 트럼프 연설문 등 4개 분야에서 챗GPT, 클로드, 코파일럿, 메타AI, 제미나이 등을 115개 질문으로 평가했다. 클로드는 복잡한 임대계약서 개선 제안에서 탁월한 성과를 보이며 가장 일관된 답변을 제공해 전체 1위를 기록했다. 챗GPT는 법률 계약 분석에서 7.8점으로 가장 높은 점수를 얻었지만 소설 이해 부분에서 한계를 보였다.
모든 AI 봇이 '환각' 현상으로 가짜 정보를 만들어내는 문제를 보였으며, 문학 작품 이해가 가장 어려운 영역으로 나타났다. 의학 연구논문 요약에서는 모든 AI가 비교적 좋은 성과를 보였는데, 이는 구조화된 형식과 훈련 데이터 포함 때문으로 분석됐다. 전문가들은 AI 요약 기능이 유용하지만 여전히 직접 읽기를 대체할 수 없으며, 특히 학습이나 예술 경험에서는 한계가 있다고 평가했다.
The Washington Post conducted a comprehensive test of five major AI chatbots' document summarization abilities with expert judges, revealing Claude as the overall winner. The evaluation tested ChatGPT, Claude, Copilot, Meta AI, and Gemini across four categories - novels, medical research, legal contracts, and Trump speeches - using 115 questions answered by subject matter experts. Claude achieved first place by providing the most consistently reliable responses, particularly excelling in suggesting improvements to rental agreements in the complex legal analysis category. ChatGPT scored highest in legal contract analysis with 7.8 points but struggled with literary comprehension tasks. All AI bots demonstrated "hallucination" problems by fabricating false information, with literature proving to be the most challenging subject area overall. Medical research summarization showed the best AI performance across all models, likely due to structured formats and extensive training data in scientific literature. Experts concluded that while AI summarization tools offer valuable assistance, they cannot replace direct reading, especially for learning and artistic experiences.
