음성 기술이 단순한 음성 변환을 넘어 실제 대화의 맥락과 감정까지 파악하는 수준으로 진화하고 있다. 음성 AI 전문 기업 인월드 AI가 사용자의 말투, 속도, 감정을 실시간으로 인식하고 자연어 연출 지시를 반영하는 새로운 음성 생성 모델을 선보였다.
인월드 AI는 2일(현지시간) 사람과 AI가 자연스럽게 대화하도록 설계한 '실시간(Realtime) TTS-2' 모델을 출시했다.
기존의 텍스트를 음성으로 바꾸는 TTS(Text-to-Speech) 방식과는 달리, TTS-2는 이전 대화 음성을 전체적으로 분석해서 사용자가 어떤 말투와 속도로 말했는지, 어떤 감정 상태에 있는지를 파악한 뒤 그에 맞춰 음성을 만드는 것이 핵심이다.
고품질을 중심으로 설계한 '실시간 TTS-2'와 지연 시간, 대규모 처리, 비용 효율성을 우선으로 한 '실시간 TTS-2 플래시(Flash)' 두 버전이 동시 출시됐다. 두 모델 모두 자연어 형태의 음성 연출 지시, 음성 복제, 다국어 음성 생성을 지원한다.
TTS-2가 가장 돋보이는 특징은 대화의 음성 맥락을 이해한다는 점이다. 기존 음성 생성 모델들이 텍스트나 대화 내용 중심으로 작동했다면, TTS-2는 실제 음성 오디오를 분석해서 사용자의 어조, 말하기 속도, 감정 상태를 읽어낸다. 이를 통해 직전 대화의 분위기를 파악하고 그에 맞춘 음성을 생성한다. 같은 문장이라도 농담 바로 다음인지, 나쁜 소식을 받은 직후인지에 따라 다르게 표현될 수 있다는 뜻이다.
개발자는 음성의 표현 방식을 자연어로 직접 지정할 수 있다. 텍스트 앞에 [calm, reassuring]이나 [excited] 같은 표현을 붙이면 그에 맞춰 음성이 생성된다. 정해진 감정 목록이나 슬라이더를 고르는 것이 아니라, 마치 연출 지시처럼 긴 문장으로 구체적인 상황과 감정을 설명할 수 있다는 특징이 있다.
웃음, 한숨, 숨소리, 기침, 하품 같은 비언어적 요소도 표현 가능하다. 텍스트 중간에 [laugh], [sigh], [breathe], [cough], [yawn] 같은 태그를 넣으면 이런 소리들이 단어로 읽혀지지 않고 실제 음향 효과처럼 자연스럽게 표현된다. 개발자는 말 사이의 멈춤까지 조절해 대화의 리듬과 감정 전달 방식을 섬세하게 설정할 수 있다.
음성의 일관성도 강화됐다. TTS-2는 100개 이상의 언어에서 하나의 음성 정체성을 유지할 수 있으며, 하나의 음성 생성 과정에서 언어가 바뀌더라도 같은 사람의 목소리가 유지되도록 설계됐다. 전체적으로는 200개 이상의 언어와 500개 이상의 방언을 지원한다. 영어에서 스페인어, 일본어로 문장 중간에 언어가 바뀌는 상황에서도 음색, 음높이, 목소리의 특성이 그대로 보존된다.
새로운 음성을 만드는 기능도 제공한다. 개발자가 원하는 음성을 자연어로 설명하면 별도의 참조 음성 없이 새로운 음성을 만드는 '고급 음성 설계(Advanced Voice Design)' 기능을 지원한다. 또한 사용 권한을 확보한 5~15초 분량의 음성 샘플을 활용하면 추가 학습 없이 즉시 그 음성을 복제하는 제로샷 음성 복제도 가능하다.
실시간 처리 성능도 주요 강점이다. 인월드의 테스트 결과, 실시간 TTS-2는 99번째 백분위 기준으로 100밀리초(ms) 미만의 지연시간을 기록했다. 경량 버전인 실시간 TTS-2 플래시는 '코발(Coval)' 벤치마크에서 첫 바이트까지 25ms를 기록해 대규모 음성 서비스를 신속하게 처리해야 하는 애플리케이션을 겨냥했다.
두 모델 모두 웹소켓(WebSocket) 기반 스트리밍을 지원한다.
외부 평가에서도 우수한 성적을 거뒀다. 아티피셜 애널리시스의 '제어 음성 아레나(Controlled Voice Arena)'에서 실시간 TTS-2가 Elo 1123점으로 1위에 올랐으며, 1292회의 평가 기준으로 카르테시아의 '소닉 3.6(1119점)'을 제쳤다.
'공급자 음성 아레나(Provider Voice Arena)'에서는 1252점을 얻어 2위를 차지했다. 알리바바의 '큐원-오디오-3.0-TTS-플러스'와 스피치파이의 '심바(Simba) 3.2'를 앞섰지만, 소닉 3.6(1282점)에는 미치지 못했다.
생성 속도는 초당 106자 수준으로 측정됐다. 소닉 3.6의 124자, 심바 3.2의 97자, '일레븐 v3'의 40자와 비교하면 경쟁력 있는 수준이다. 가격도 경쟁 모델들보다 저렴하게 책정됐다. 실시간 TTS-2는 100만 문자당 20.83달러로, 소닉 3.6의 49달러, 일레븐 v3의 100달러, 큐원-오디오-3.0-TTS-플러스의 27.59달러보다 낮다.
인월드는 TTS-2가 AI 캐릭터, 게임, 교육, 고객지원, 음성 에이전트 등 실시간 대화가 필요한 소비자용 서비스에 활용될 것으로 기대하고 있다. 특히 AI 기반 게임은 정해진 대사가 아니라 사용자의 선택에 따라 새로운 대사를 실시간으로 생성해야 하므로 음성의 자연스러움, 감정 표현, 지연시간이 매우 중요하다.
실제 사용 사례도 제시했다. 500만명 이상의 학습자를 대상으로 80개 이상의 언어를 지원하는 언어 학습 서비스 톡팔(Talkpal)은 인월드의 실시간 TTS를 도입한 4주간의 A/B 테스트에서 TTS 비용을 40% 절감하고 기능 사용률을 7%, 이용자 유지율을 4% 높였다고 밝혔다.
AI 기반 소셜 시뮬레이션 서비스 스테이터스(Status)는 50만명 이상의 일일 활성 이용자를 상대로 서비스하면서 AI 비용을 약 95% 줄일 수 있었다고 보고했다.
인월드는 TTS-2를 자체 API 외에도 실시간 음성 인식(STT), 리얼타임(Realtime) API, 라우팅 및 추론 기능과 함께 사용할 수 있도록 구성했다. 리얼타임 API는 오픈AI의 리얼타임 프로토콜과 호환되어 기존 음성 에이전트 개발 환경에서도 비교적 수월하게 통합할 수 있다.