세계적인 보험시장인 '로이즈 오브 런던(Lloyd's of London)'이 AI 관련 오작동에 대한 기업용 보험 상품을 출시했다. 이 보험은 스타트업 아밀라(Armilla)를 통해 제공되며, AI 제품 성능 미달로 고객이나 제3자가 손해를 입어 기업을 고소할 경우 법정 비용을 보장한다. 기업들이 효율성을 높이려고 AI를 도입하고 있지만, 고객 서비스 봇과 같은 일부 도구들은 AI 환각으로 인해 당혹스럽고 비용이 많이 드는 실수를 일으키고 있다. 환각된 정보로 행동하면 잘못된 결정, 재정적 손실, 기업 이미지 손상 등 심각한 결과를 가져올 수 있다. 버진 머니는 올해 초 챗봇이 '버진'이라는 단어를 사용한 고객을 질책했을 때 사과했고, 에어캐나다는 챗봇이 고객과의 대화에서 할인을 날조했을 때 소송에 휘말렸다. 로이즈 은행(Lloyds Bank)은 AI 기술을 고객 응대에 직접 활용하지 않고 백오피스 업무에 한정하는 보수적 접근을 택했다. “신뢰할 만한 안전장치가 갖춰질 때까지는 고객과 직접 연결하지 않겠다”는 방침이다.
Lloyd's of London has launched an insurance product for companies facing AI-related malfunctions. The insurance, offered through startup Armilla, covers court costs if a company is sued by customers or third parties harmed by underperforming AI products. While companies are adopting AI to increase efficiency, some tools like customer service bots have caused embarrassing and costly mistakes due to hallucinations, where AI confidently delivers fabricated information. Acting on hallucinated information can lead to flawed decisions, financial losses, and damage to a company's reputation. Virgin Money apologized earlier this year when its chatbot chastised a customer for using the word "virgin," and Air Canada ended up in court when its chatbot fabricated a discount in a customer conversation. Lloyds Bank's Chief Data and Analytics Officer stated they "will not expose any of the generative AI capabilities directly to customers until we have confidence in the guardrails."
