“말 끊지 않고 화자까지 구분”…일레븐랩스, 음성인식 AI ‘스크라이브 v3’ 공개

녹음·실시간 음성 처리 모델 2종 선보여…기존 대비 인식 오류 최대 43% 감소
다자간 회의 화자 분리부터 대화 맥락 기반 발화 종료 판단까지 정확도 개선
실제 고객 통화에서 성능 확인…한국어 포함 90개 이상 언어 지원

인공지능(AI)이 사람의 말을 문자로 바꾸는 음성인식 기술은 단순한 받아쓰기를 넘어 대화의 흐름과 발언자를 구분하는 단계로 발전하고 있다. 여러 사람이 동시에 참여하는 회의에서 발언자를 정확하게 식별하거나, 고객이 잠시 말을 멈췄을 때 대화가 끝난 것으로 잘못 판단하지 않는 것이 대표적인 과제다.

이러한 문제를 해결하기 위해 AI 오디오 기업 일레븐랩스(ElevenLabs)가 음성인식(STT, Speech to Text) 모델을 고도화했다. 녹음된 음성을 처리하는 '스크라이브 v3(Scribe v3)'와 실시간 대화에 특화된 '스크라이브 v3 라이브(Scribe v3 Live)'가 그 주인공이다. 두 모델은 기존 제품보다 음성인식 오류를 줄이는 동시에 화자 분리와 대화 맥락 분석 기능을 강화한 것이 특징이다.

일레븐랩스는 지난 19일 두 모델의 주요 성능과 기업용 기능을 소개하고, 한국 기업과 개발자의 음성 기반 서비스 구축을 지원하겠다는 계획을 밝혔다.

음성인식 오류 최대 43% 감소…여러 사람의 발언도 구분

이번에 공개된 두 모델은 음성 처리 방식에 따라 활용 영역이 나뉜다. 스크라이브 v3는 회의 녹음과 음성 기록 등 저장된 데이터를 텍스트로 변환하는 데 초점을 맞췄다. 스크라이브 v3 라이브는 고객 상담이나 AI 음성 에이전트처럼 입력되는 음성을 실시간으로 처리해야 하는 환경을 위한 저지연 모델이다.

일레븐랩스의 자체 평가에 따르면 스크라이브 v3는 이전 모델인 '스크라이브 v2'보다 단어 오류를 27% 줄였다. 실시간 모델인 스크라이브 v3 라이브 역시 전작 '스크라이브 v2 리얼타임'과 비교해 의미 기반 단어 오류율이 43% 감소했다. 두 수치는 102개 언어를 대상으로 진행한 평가에서 도출됐다.

음성을 문자로 변환하는 과정에서 발언자를 식별하는 화자 분리(Diarization) 기능도 개선됐다. 스크라이브 v3는 3명 이상이 참여한 녹음에서 화자 분리 오류가 기존 모델보다 17% 적었다. 스크라이브 v3 라이브는 실시간 처리 과정에서도 화자 분리를 지원하며, 자체 평가에서 비교 대상 중 차순위 실시간 모델보다 관련 오류를 39% 줄였다.

다만 이러한 수치는 일레븐랩스가 수행한 비교 평가 결과다. 회사는 다국어 음성인식 성능을 측정하기 위해 102개 언어의 낭독 음성으로 구성된 '플뢰르(FLEURS)' 벤치마크의 내부 버전을 활용했다. 화자 분리 성능은 실제 회의와 음성 에이전트 통화, 음성 메모 등을 포함한 16개 언어의 별도 데이터셋으로 평가했으며, 해당 데이터셋을 오픈소스로 공개할 계획이다.

상대방이 잠시 멈춰도 대화 유지…전문용어·다국어 처리도 강화

음성인식 정확도와 함께 주목할 부분은 AI가 대화 상대의 발언이 끝났는지를 판단하는 방식이다.

기존의 단순한 침묵 시간 기준에서는 상대방이 생각하거나 숫자를 읽기 위해 잠시 멈추는 상황을 대화 종료로 잘못 인식할 수 있다. 반대로 침묵 시간을 지나치게 길게 설정하면 AI의 응답이 늦어지는 문제가 발생한다.

스크라이브 v3 라이브는 이러한 한계를 줄이기 위해 음성 신호와 대화의 전후 맥락을 함께 분석하는 발화 종료 판단(Turn Detection) 기능을 적용했다. 상대방이 문장 중간에 잠시 멈추더라도 이를 곧바로 발언 종료로 판단하지 않도록 설계한 것이다. 해당 기능은 기업용 음성·채팅 에이전트 플랫폼 '일레븐에이전트(ElevenAgents)'에서 사용되고 있으며, 개발자용 API로도 제공된다.

텍스트 변환 결과를 업무 환경에 맞게 조정하는 기능도 추가됐다. 스크라이브 v3는 브랜드명이나 약어, 전문용어 등 최대 1000개의 예상 용어를 사전에 등록할 수 있다. 숫자를 숫자 또는 문자 형태로 출력하도록 설정하거나 날짜 표기 규칙을 일반 문장으로 지정하는 것도 가능하다.

스크라이브 v3 라이브에는 대화 도중 사용 언어가 바뀌는 상황을 처리하는 다국어 모드가 적용됐다. 대량의 전문용어를 미리 저장해 두고 관련 발화가 감지됐을 때 참조하는 '키텀 라이브러리(Keyterm Library)'도 제공한다.

실제 고객 통화에서 효과 확인…기업용 데이터 관리 기능도 확대

새로운 음성인식 모델은 실제 고객 상담 환경에서도 시험됐다.

네덜란드 에너지 기업 에네코(Eneco)는 200만 곳 이상의 가정과 기업에 에너지를 공급하는 회사다. 에네코는 일레븐에이전트 기반 음성 에이전트에 스크라이브 v3 라이브를 출시 전 적용해 성능을 검증했다.

그 결과 실제 고객 통화에서 네덜란드 우편번호를 처음 시도에 정확히 인식한 비율이 약 40% 증가했다. 번지 인식 정확도 역시 약 15% 개선된 것으로 나타났다.

에네코의 루트 하위슬로트(Ruud Huigsloot) 시니어 프로덕트 매니저는 "일레븐랩스는 에네코의 진정한 파트너다. 현장에 지원된 일레븐랩스의 전담 포워드 배치 엔지니어(FDE)들과 함께 음성 에이전트를 더욱 개선해 나가고 있다"며 "이른 단계부터 의미 있는 성과를 확인할 수 있어 매우 기쁘며, 앞으로의 협업에도 기대가 크다"고 말했다.

기업 고객을 위한 데이터 처리 기능도 마련했다. 두 모델은 기본적으로 미국에서 운영되지만, 데이터 보관 위치에 관한 규정을 준수해야 하는 기업을 위해 유럽연합(EU), 인도, 싱가포르의 독립된 데이터 처리 환경을 지원한다.

요청 처리가 완료되면 고객의 음성과 텍스트 데이터를 삭제하는 '제로 리텐션 모드(Zero Retention Mode)'도 제공한다. SOC 2, ISO 27001, PCI DSS Level 1 등 보안·규제 준수 체계를 적용하고 있으며, 비즈니스 제휴 계약(BAA) 체결을 통한 미국 의료정보보호법(HIPAA) 적용 업무 지원과 전용 인프라 기반 프라이빗 환경 구축도 가능하다.

개발자는 '일레븐API(ElevenAPI)'를 통해 두 모델을 이용할 수 있다. 기존 스크라이브 v2 사용자는 모델 식별자(ID)를 'scribe_v3' 또는 'scribe_v3_live'로 변경해 전환할 수 있다. 일레븐랩스 앱에는 두 모델이 기본 모델로 적용됐으며, 일레븐에이전트에서는 의료 대화에 최적화된 스크라이브 v3 라이브 버전도 제공된다.

일레븐랩스는 한국어를 포함한 90개 이상의 언어를 지원하는 신형 음성인식 모델을 바탕으로 국내 시장 지원도 강화할 방침이다. 특히 회의 기록과 고객 상담 등 음성 데이터를 활용하는 업무에서 기업과 개발자가 관련 서비스를 구축할 수 있도록 지원한다는 계획이다.

조상돈 기자

james@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by 테크42 무단전재 및 재배포 금지

관련 기사

[위클리AI] 앤트로픽 역대 최대 상장…美 은행들, 외부 AI 비서 쓰면 '책임은 고객'

앤트로픽이 역대 최대 규모로 나스닥에 상장했고, 오픈AI와 구글은 새 AI 모델을 잇따라 내놨다. 미국 대형 은행들은 외부 AI 비서에 계좌 접근을 허용한 고객이 그 결과를 책임지도록 약관을 바꿨다. 11월 셋째 주 AI 주요 이슈를 정리했다.

별이 별을 삼켰다...제임스웹, 250만 광년 밖 '별 합병' 재구성

늙어 부푼 거대한 별이 태양보다 작은 별을 집어삼키는 과정이 제임스 웹 우주망원경 자료로 처음 재구성됐다. 7년의 관측 기록과 '공통 외피'의 의미, 합병 여부를 둘러싼 다른 해석까지 쉽게 정리했다.

[현장] 김난도 교수 "AI 시대, 콘텐츠 경쟁은 '안목자본'과 '휴먼엣지'에 좌우돼"

'AI 콘텐츠 페스티벌 2026'에서 지난 12일 열린 'AI, 비즈니스의 판을 바꾸다' 특별대담. 고삼석 동국대학교 첨단융합대학 석좌교수가 진행을 맡고, 트렌드코리아의 저자 김난도 서울대학교 명예교수와 시치 우(Shiqi Wu) 틱톡코리아 글로벌 비즈니스 솔루션 제너럴 매니저가 참여해 AI 시대 콘텐츠 소비의 변화부터 글로벌 플랫폼 전략, 창작자의 새로운 수익모델까지 다양한 관점을 제시했다.

보안 패치 분석부터 공격 코드 제작까지…구글이 포착한 '인간 없는 AI 해킹'

AI 에이전트가 취약점 탐지·공격 코드 제작·실행까지 자동화한 사례 확인 다중 AI 에이전트 공격 확산…미국 항공우주 산업 등 실제 침투 활동에...