실시간 AI 번역이 말의 내용뿐 아니라 화자의 목소리와 표현 방식까지 전달하는 방향으로 진화하고 있다. 같은 문장을 번역하더라도 질문인지, 망설이는지, 긴박하게 말하는지와 같은 음성 정보를 함께 살려 언어가 바뀐 뒤에도 원래 화자의 특성을 유지하는 방식이다.
글로벌 언어 AI 기업 딥엘(DeepL)은 음성 번역 기술 ‘딥엘 보이스(DeepL Voice)’에 새로운 보이스 AI 모델을 적용했다고 16일 밝혔다. 이번 업데이트의 핵심은 번역 과정에서 말투와 리듬, 발화 속도, 억양 등 화자마다 다른 음성적 특징을 유지하는 데 있다.
여러 명이 동시에 참여하는 다국어 대화에서도 각 화자의 음성을 구분해 번역하며, 질문의 뉘앙스나 망설임, 긴박함, 기대감 등 발화에 담긴 표현도 번역 음성에 반영한다. 음성 특성 보존 기능은 한국어를 포함한 14개 언어를 지원하며, 음성 간 번역 대상은 30개 이상 언어로 확대됐다.
실시간 대화에 필요한 응답 속도도 함께 고려했다. 딥엘은 낮은 지연 시간을 유지하면서 음성에 담긴 맥락과 화자 특성을 전달하도록 새 모델을 설계했다. 딥엘이 인용한 슬레이터(Slator)의 독립 평가에서는 딥엘 보이스가 AI 번역 자막 정확도 부문 1위를 기록했다.
세바스찬 엔더라인(Sebastian Enderlein) 딥엘 최고기술책임자(CTO)는 화자 고유의 특성을 유지하면서도 번역 품질과 낮은 지연 시간을 동시에 확보하는 것이 이번 개발의 주요 기술 과제였다고 설명했다. 그는 향후 기업 운영과 고객 서비스뿐 아니라 새로운 다국어 제품과 서비스 구축 등으로 활용 범위가 넓어질 가능성도 제시했다.
딥엘은 음성 번역을 이용하는 방식도 단순화했다. 윈도우(Windows)와 맥(Mac)에서 사용할 수 있는 별도 ‘딥엘 보이스’ 데스크톱 앱을 내놓고 줌(Zoom), 마이크로소프트 팀즈(Microsoft Teams), 구글 미트(Google Meet) 등 주요 온라인 회의 환경을 하나의 앱에서 지원한다.
앱은 진행 중인 통화를 자동으로 감지하고 실시간 번역 자막을 화면 위에 오버레이 형태로 표시한다. 사용자는 발표 자료를 보거나 메모하는 중에도 자막을 확인할 수 있으며, 필요한 경우 자막 대신 ‘보이스 투 보이스(Voice to Voice)’ 방식으로 번역된 음성을 들을 수 있다. 자막 크기와 배경 오디오 음량, 번역 설정도 조정할 수 있다.
보이스 투 보이스 번역은 온라인 미팅뿐 아니라 대면 대화와 딥엘 API에서도 지원된다. 딥엘은 엔터프라이즈 환경을 넘어 라이브 행사로 적용 범위를 넓혀 ‘세일즈포스 드림포스 2026’ 전체 50개 스테이지에서도 실시간 번역을 제공할 예정이다.
야렉 쿠틸로브스키(Jarek Kutylowski) 딥엘 창업자 겸 최고경영자(CEO)는 음성에는 단어 자체를 넘어 화자의 정체성과 감정, 말하는 방식이 담겨 있다며 이번 업데이트를 통해 실시간 다국어 대화에서도 이러한 요소를 함께 전달하는 방향으로 딥엘 보이스를 확장했다고 설명했다.
