AI 오디오 기업 일레븐랩스(ElevenLabs)가 영상의 흐름을 파악해 배경음악을 제작하고, 필요한 순간에 효과음까지 배치하는 ‘인스턴트 사운드트랙(Instant Soundtracks)’을 선보였다고 26일 밝혔다.
이번 기능은 영상에 사용할 음악과 효과음을 생성하는 데 그치지 않고, 각각의 오디오 요소를 분리해 편집할 수 있도록 설계됐다. 사용자는 AI가 만든 결과물을 확인한 뒤 음향 효과의 위치나 음악 구성을 수정할 수 있다.
개발자를 위한 API 기능도 지원한다. ‘Video to Music API’에는 효과음 생성과 트랙 분리, 기존 오디오 참조를 위한 ‘add_sfx’, ‘separate_tracks’, ‘use_audio_as_reference’ 파라미터가 추가됐다.
특히 ‘separate_tracks=true’ 옵션을 적용하면 생성된 음악과 효과음을 개별 파일로 분리해 ZIP 형식으로 받을 수 있다. 이를 통해 후속 제작 과정에서 두 오디오를 별도로 믹싱할 수 있으며, API 요청 한 번으로 최대 10개 영상의 처리가 가능하다.
일반 영상 제작자는 일레븐크리에이티브(ElevenCreative)의 ‘뮤직 비디오 에디터(Music Video Editor)’를 활용할 수 있다. 이 편집기에서는 음악과 효과음이 서로 다른 레이어에 배치된다. 효과음을 추가하거나 재생 시점을 변경할 수 있고, 배경음악을 다른 곡으로 바꾸는 작업도 지원한다. 편집이 끝난 결과물은 바로 내보낼 수 있다.
음악과 효과음 생성에는 영상 분석 기술이 활용된다. 업로드된 영상의 내용을 토대로 새로운 음악을 제작하는 동시에 효과음이 필요한 구간을 찾아낸다. 이후 해당 장면의 시간 정보인 타임스탬프를 기준으로 효과음을 생성한다. 가령 광고 영상 마지막에 로고가 표시되는 시점에 맞춰 소리를 넣는 방식이다.
영상의 전개에 따라 음악적 분위기를 조절하는 기능도 갖췄다. 속도감 있는 장면에는 EDM이나 R&B를 사용하고, 차분한 장면에서는 어쿠스틱 기타 중심의 음악으로 전환할 수 있다. 숏폼 콘텐츠의 빠른 진행 속도에 맞춰 음악 타이밍도 개선했다.
기존 영상에 오디오가 포함돼 있다면 이를 새로운 음악 제작의 참고 자료로 활용할 수도 있다. AI가 원본 오디오의 장르와 BPM(분당 비트 수), 악기 구성 등을 분석해 해당 특성을 반영하는 방식이다.
인스턴트 사운드트랙은 지난 15일부터 일레븐크리에이티브의 뮤직 비디오 에디터와 광고용 ‘크리에이티브 엔진(Creative Engine)’, 일레븐뮤직(ElevenMusic), 일레븐크리에이티브 스튜디오 API에서 제공되고 있다.
