영국에 본사를 둔 인공지능(AI) 오디오 연구 및 개발 전문기업 일레븐랩스 (ElevenLabs)가 21일 한국 시장 진출을 선언했다.
테크42와 JW메리어트호텔에서 만난 영국 일레븐랩스의 마티 스타니셰프스키(Mati Staniszewski) 공동 창업자 겸 CEO는 이날 ‘일레븐랩스(ElevenLabs)의 시작과 미래’라는 주제로 전통적인 더빙 방식의 한계를 극복하고자 설립한 일레븐랩스의 설립 배경을 포함한 기업 소개, AI 연구 및 제품 상용화 과정, 일레븐랩스의 리서치 기반 기술력과 상용화된 제품 소개, AI기반 크리에이티브 플랫폼과 상용 레벨의 AI 에이전트 플랫폼 소개 및 AI 오디오의 미래 등을 설명했다.
“저희 일레븐랩스는 고등학교 시절부터 친구인 CTO(피오트르 다브코프스키)와 함께 2022년 공동 창업했습니다. 둘 다 폴란드 출신이죠. 피오트르 CTO는 옥스퍼드와 케임브리지에서 컴퓨터 사이언스를 전공하고 구글에서 언어모델을 개발한 전문가죠. 제 경우는 수학을 전공하고 블랙록과 팔란티어에서 경험을 쌓았습니다. 보이스 AI 혁신을 통해 전 세계 누구나 자신의 목소리로 자유롭게 소통할 수 있는 세상을 만들어가고 있습니다.”
폴란드 출신의 공동창업자들, 외국어 영화 더빙의 한계에서 사업 영감 얻어
이날 마티 스타니셰프스키 CEO는 “일레븐랩스는 기술에 목소리를 부여하고, 세상의 지식과 이야기, 그리고 에이전트에 생명을 불어넣는 음성 AI 크리에이티브 기업”이라며 “현재 5000만명 이상의 월간 활성 사용자수, 66억 달러의 기업 가치 평가액, 그리고 EST, 크래프톤, 네이버 등의 국내 고객을 포함한 포춘 500대 기업 중 75%의 활성 고객사를 보유하고 있는 AI 유망 기업”이라는 점을 강조했다. 그러면서 처음 사업 영감을 받았던 경험을 털어 놓기도 했다.
“오래 전 폴란드에서 외국어 영화를 보게 되면 단 한 명의 성우가 영화에 등장하는 모든 인물에 대한 더빙을 다 합니다. 남자 여자와 상관없이 한 명의 성우가 다 하기 때문에 당연히 그 경험을 통해서 그것을 좀 변화시켜 보자고 했죠. 그래서 저희는 사람과 기술의 인터랙션 방식 자체를 변화시키고자 하는 비전을 시작할 수가 있었습니다.”
그는 또한 “일레븐랩스의 기반 모델은 음성 합성, 오디오, 제어 가능성, 그리고 인간과 유사한 상호작용에 대한 최첨단 연구를 바탕으로 만들어졌다”며 “TTS, STT, AI 더빙, 보이스 클로닝, 사운드 효과, 음성 분리, 일레븐 뮤직, 에이전트 오케스트레이션 등이 일레븐랩스의 독보적인 제품 경쟁력”이라고 설명했다.
네이버, LG유플러스 등과 협력해 한국어 최적화
그러면서 스타니셰프스키 CEO는 네이버와 LG유플러스 등 한국 기업이 일레븐랩스의 모델에 투자해 한국어 최적화, 현지화에 도움을 주고 있다는 점을 강조하기도 했다.
“많은 혁신적인 기업들이 한국에 포진해 있죠. 빠르게 또 기술을 도입하고 계시는데요. 크래프톤의 경우 인터렉티브한 게임 캐릭터들을 저희 일레븐랩스를 활용해서 소개를 하고 있어요. 또 SBS와도 콘텐츠 현지화 차원에서 일레븐랩스를 활용하고 있습니다. 저희는 현재도 많은 개발을 통해서 좀 더 고도화된, 한국어에 최적화되고 현지화 된 모델들을 개발을 하고 있습니다. 특히 작년 같은 경우에는 한국어의 발음과 의도를 정말 제대로 포착해 내기 위해서 많은 용량을 한국어 모델을 개발하는 데 투입을 했죠. 이를 통해서 빠르게 AI가 도입되고 있는 한국 시장 내에서 저희도 함께 성장에 기여하고자 합니다.”
스타니셰프스키 CEO는 이어 연구 성과를 누구나 접근 가능한 API 레이어를 통해 제공하는 API 파운데이션, AI 기반의 통합 협업형 크리에이티브 플랫폼인 크리에이티브 플랫폼, 핵심 연구를 실시간 자연스러운 음성, 깊이 있는 추론, 그리고 동적인 상호작용으로 구현해 AI 에이전트를 구동하는 에이전트 플랫폼 등의 서비스 모델을 소개했다.
한편 일레븐랩스의 AI 에이전트 플랫폼은 0.5초 미만의 지연 속도로 인간 수준의 자연스러움, 7000개 이상의 보이스와 32개 언어를 지원함으로써 완벽한 경험을 제공한다. CRM, 고객지원, 결제, 전화 시스템 등 다양한 워크플로우를 연결해 문제를 해결하고 전환율 향상과 매출 창출을 지원한다. 이와 함께 실시간 분석, 평가, 추적하는 모니터링 기능과 주요 보안 및 규제 기준을 준수하여 엔터프라이즈급 보안 및 안정성을 갖추고 있다.
일레븐랩스의 AI에이전트 플랫폼을 도입한 대형 디지털은행은 약 3000만 명 이상의 고객들이 이용 중이다. 스타니셰프스키 CEO는 “일레븐랩스의 AI에이전트 플랫폼을 도입한 결과, 에이전트 처리 시간이 85% 단축되고, 신용카드 관련 문의의 50%를 AI가 처리하며, 기획부터 전면 런칭까지 2개월 미만으로 진행되는 성과를 이뤘다”고 강조했다.
이어 스타니셰프스키 CEO는 “타사의 Speech-to-Speech(엔드투엔드) 방식은 감사 및 관측이 어렵고 엔터프라이즈의 요구사항을 충족하는 데 한계가 있다”며 “그러나 일레븐랩스의 경우 모델 고도화로 스트리밍 ASR/TTS의 지연시간이 크게 감소하고 LLM 추론 속도도 대폭 향상되어 지연시간(Latency) 개선효과가 뚜렷하다”고 강조하며 AI 오디오의 미래를 언급했다.
“웨어러블에서부터 자동차에 이르기까지, 모든 디바이스가 우리가 무엇을 말하는지, 그리고 어떻게 말하는지를 이해할 수 있는 것이 AI 오디오의 미래입니다. 이는 일레븐랩스의 보안성 높은 클라우드 기반 보이스 인텔리전스로 구현되죠. 궁극적으로 AI 오디오의 미래는 언어의 장벽을 완전히 허물어, 모든 음성과 콘텐츠가 실시간 번역과 완벽한 더빙을 통해 전 세계 어디서나 접근 가능하게 만들 겁니다.”
마지막으로 스타니셰프스키 CEO는 “미래는 오디오를 넘어, 이미지와 영상까지 아우르는 완전한 옴니 크리에이티브 경험이 제공될 것이고, 맥락을 이해하고 감정에 반응하는 에이전트가 모든 접점에서 일관되고 매끄러운 상호작용을 가능하게 할 것”이라는 예측을 덧붙이기도 했다.
한국이 아시아 보이스 AI 허브가 될 때까지 함께 할 것
한편 이날 함께한 홍상원 일레븐랩스 한국지사장은 “대기업의 65.1%가 이미 AI를 도입했고, 근로자의 63.5%가 생성형 AI를 일상적으로 활용한다”며 “이는 글로벌 평균의 2배가 넘는 수치”라고 진단하며 말을 보탰다.
“정부는 2026년 AI 분야에 10조 1000억원이라는 전례 없는 예산을 편성하며 AI 3대 강국 도약을 선언했습니다. 99.98%의 모바일 인터넷 보급률, 세계 1위 5G 인프라 등이 일레븐랩스가 한국시장에 주목하는 이유죠. 무엇보다 한국은 혁신을 가장 빠르게 수용하는 시장이에요. 23%의 얼리어답터 비율, K-Pop과 K-Drama로 입증된 글로벌 콘텐츠 파워, 세계에서 가장 까다로운 서비스 기준이 한국 시장을 최적의 시장으로 만들고 있죠. 한국에서의 성공은 곧 글로벌 성공의 지표가 되고 있어요. 그래서 일레븐랩스는 한국을 아시아 진출의 핵심 거점으로 선택했습니다.”
특히 홍 지사장은 한국 시장에 집중할 두가지 핵심 영역으로 K-콘텐츠의 진정한 글로벌화와 고객 경험의 완전한 재창조를 들었다.
K-콘텐츠의 진정한 글로벌화에 관해 홍 지사장은 “K-콘텐츠가 세계를 사로잡았지만, 언어 장벽은 여전했다”며 “우리의 Eleven v3는 이 장벽을 완전히 제거해 70개 이상 언어를 지원하면서도 원작의 감정과 뉘앙스를 거의 완벽히 재현한다”고 강조했다.
홍 지사장에 따르면 단순 번역이 아니라 웃음, 한숨, 감탄사, 숨소리까지 그대로 전달한다는 것이다. 또 제작 효율성도 획기적으로 개선된다는 것 역시 홍 지사장의 설명이다.
“화자 자동 분리, 타임라인 편집, API를 통한 대량 처리로 더빙 시간을 극적으로 단축합니다. 이를 통해 고객 경험 역시 완전히 재창조 되죠. 500밀리초 이하 응답속도의 초저지연 음성 에이전트가 24시간 다국어로 응대하니까요. 그러나 이는 단순 대체가 아닌, 인간과 AI의 시너지라고 할 수 있어요. AI가 반복 문의의 70%를 처리하는 동안, 상담사는 진짜 공감과 창의성이 필요한 복잡한 케이스에 집중할 수 있죠.”
아울러 홍 지사장은 “일레븐랩스는 딥페이크 악용, 저작권 침해, 출처 불명, 불공정 이용 등의 우려를 방지하고 차단하기 위해 Consent(동의), Control(통제), Compensation(보상) 등 3C 프레임워크를 발표했다”며 “동의는 시작부터 철저한 검증 단계이며, 통제는 완벽한 추적과 차단 시스템, 그리고 보상은 공정한 수익 창출 생태계 구축”이라고 덧붙였다.
이날 일레븐랩스 측은 재차 “한국이 단순히 시장이 아닌, 아시아 보이스(Voice) AI의 허브가 되는 그날까지, 한국 고객들과 함께하겠다”고 사업의지를 밝혔다.
