
인공지능(AI)이 사람의 말을 문자로 바꾸는 음성인식 기술은 단순한 받아쓰기를 넘어 대화의 흐름과 발언자를 구분하는 단계로 발전하고 있다. 여러 사람이 동시에 참여하는 회의에서 발언자를 정확하게 식별하거나, 고객이 잠시 말을 멈췄을 때 대화가 끝난 것으로 잘못 판단하지 않는 것이 대표적인 과제다.
이러한 문제를 해결하기 위해 AI 오디오 기업 일레븐랩스(ElevenLabs)가 음성인식(STT, Speech to Text) 모델을 고도화했다. 녹음된 음성을 처리하는 '스크라이브 v3(Scribe v3)'와 실시간 대화에 특화된 '스크라이브 v3 라이브(Scribe v3 Live)'가 그 주인공이다. 두 모델은 기존 제품보다 음성인식 오류를 줄이는 동시에 화자 분리와 대화 맥락 분석 기능을 강화한 것이 특징이다.
일레븐랩스는 지난 19일 두 모델의 주요 성능과 기업용 기능을 소개하고, 한국 기업과 개발자의 음성 기반 서비스 구축을 지원하겠다는 계획을 밝혔다.
음성인식 오류 최대 43% 감소…여러 사람의 발언도 구분

이번에 공개된 두 모델은 음성 처리 방식에 따라 활용 영역이 나뉜다. 스크라이브 v3는 회의 녹음과 음성 기록 등 저장된 데이터를 텍스트로 변환하는 데 초점을 맞췄다. 스크라이브 v3 라이브는 고객 상담이나 AI 음성 에이전트처럼 입력되는 음성을 실시간으로 처리해야 하는 환경을 위한 저지연 모델이다.
일레븐랩스의 자체 평가에 따르면 스크라이브 v3는 이전 모델인 '스크라이브 v2'보다 단어 오류를 27% 줄였다. 실시간 모델인 스크라이브 v3 라이브 역시 전작 '스크라이브 v2 리얼타임'과 비교해 의미 기반 단어 오류율이 43% 감소했다. 두 수치는 102개 언어를 대상으로 진행한 평가에서 도출됐다.
음성을 문자로 변환하는 과정에서 발언자를 식별하는 화자 분리(Diarization) 기능도 개선됐다. 스크라이브 v3는 3명 이상이 참여한 녹음에서 화자 분리 오류가 기존 모델보다 17% 적었다. 스크라이브 v3 라이브는 실시간 처리 과정에서도 화자 분리를 지원하며, 자체 평가에서 비교 대상 중 차순위 실시간 모델보다 관련 오류를 39% 줄였다.
다만 이러한 수치는 일레븐랩스가 수행한 비교 평가 결과다. 회사는 다국어 음성인식 성능을 측정하기 위해 102개 언어의 낭독 음성으로 구성된 '플뢰르(FLEURS)' 벤치마크의 내부 버전을 활용했다. 화자 분리 성능은 실제 회의와 음성 에이전트 통화, 음성 메모 등을 포함한 16개 언어의 별도 데이터셋으로 평가했으며, 해당 데이터셋을 오픈소스로 공개할 계획이다.
상대방이 잠시 멈춰도 대화 유지…전문용어·다국어 처리도 강화
음성인식 정확도와 함께 주목할 부분은 AI가 대화 상대의 발언이 끝났는지를 판단하는 방식이다.
기존의 단순한 침묵 시간 기준에서는 상대방이 생각하거나 숫자를 읽기 위해 잠시 멈추는 상황을 대화 종료로 잘못 인식할 수 있다. 반대로 침묵 시간을 지나치게 길게 설정하면 AI의 응답이 늦어지는 문제가 발생한다.
스크라이브 v3 라이브는 이러한 한계를 줄이기 위해 음성 신호와 대화의 전후 맥락을 함께 분석하는 발화 종료 판단(Turn Detection) 기능을 적용했다. 상대방이 문장 중간에 잠시 멈추더라도 이를 곧바로 발언 종료로 판단하지 않도록 설계한 것이다. 해당 기능은 기업용 음성·채팅 에이전트 플랫폼 '일레븐에이전트(ElevenAgents)'에서 사용되고 있으며, 개발자용 API로도 제공된다.
텍스트 변환 결과를 업무 환경에 맞게 조정하는 기능도 추가됐다. 스크라이브 v3는 브랜드명이나 약어, 전문용어 등 최대 1000개의 예상 용어를 사전에 등록할 수 있다. 숫자를 숫자 또는 문자 형태로 출력하도록 설정하거나 날짜 표기 규칙을 일반 문장으로 지정하는 것도 가능하다.
스크라이브 v3 라이브에는 대화 도중 사용 언어가 바뀌는 상황을 처리하는 다국어 모드가 적용됐다. 대량의 전문용어를 미리 저장해 두고 관련 발화가 감지됐을 때 참조하는 '키텀 라이브러리(Keyterm Library)'도 제공한다.
실제 고객 통화에서 효과 확인…기업용 데이터 관리 기능도 확대
새로운 음성인식 모델은 실제 고객 상담 환경에서도 시험됐다.
네덜란드 에너지 기업 에네코(Eneco)는 200만 곳 이상의 가정과 기업에 에너지를 공급하는 회사다. 에네코는 일레븐에이전트 기반 음성 에이전트에 스크라이브 v3 라이브를 출시 전 적용해 성능을 검증했다.
그 결과 실제 고객 통화에서 네덜란드 우편번호를 처음 시도에 정확히 인식한 비율이 약 40% 증가했다. 번지 인식 정확도 역시 약 15% 개선된 것으로 나타났다.
에네코의 루트 하위슬로트(Ruud Huigsloot) 시니어 프로덕트 매니저는 "일레븐랩스는 에네코의 진정한 파트너다. 현장에 지원된 일레븐랩스의 전담 포워드 배치 엔지니어(FDE)들과 함께 음성 에이전트를 더욱 개선해 나가고 있다"며 "이른 단계부터 의미 있는 성과를 확인할 수 있어 매우 기쁘며, 앞으로의 협업에도 기대가 크다"고 말했다.
기업 고객을 위한 데이터 처리 기능도 마련했다. 두 모델은 기본적으로 미국에서 운영되지만, 데이터 보관 위치에 관한 규정을 준수해야 하는 기업을 위해 유럽연합(EU), 인도, 싱가포르의 독립된 데이터 처리 환경을 지원한다.
요청 처리가 완료되면 고객의 음성과 텍스트 데이터를 삭제하는 '제로 리텐션 모드(Zero Retention Mode)'도 제공한다. SOC 2, ISO 27001, PCI DSS Level 1 등 보안·규제 준수 체계를 적용하고 있으며, 비즈니스 제휴 계약(BAA) 체결을 통한 미국 의료정보보호법(HIPAA) 적용 업무 지원과 전용 인프라 기반 프라이빗 환경 구축도 가능하다.
개발자는 '일레븐API(ElevenAPI)'를 통해 두 모델을 이용할 수 있다. 기존 스크라이브 v2 사용자는 모델 식별자(ID)를 'scribe_v3' 또는 'scribe_v3_live'로 변경해 전환할 수 있다. 일레븐랩스 앱에는 두 모델이 기본 모델로 적용됐으며, 일레븐에이전트에서는 의료 대화에 최적화된 스크라이브 v3 라이브 버전도 제공된다.
일레븐랩스는 한국어를 포함한 90개 이상의 언어를 지원하는 신형 음성인식 모델을 바탕으로 국내 시장 지원도 강화할 방침이다. 특히 회의 기록과 고객 상담 등 음성 데이터를 활용하는 업무에서 기업과 개발자가 관련 서비스를 구축할 수 있도록 지원한다는 계획이다.