미스트랄 AI가 다국어 음성 인식과 자연스러운 음성 합성을 지원하는 새 AI 모델 제품군을 선보였다. 음성 인식부터 음성 생성까지 처리하는 모델과 소프트웨어 개발 키트(SDK)를 함께 제공해, 실시간 음성 에이전트를 만들 수 있도록 돕는다. 기업의 고객 상담, 음성 기반 업무 자동화, 대화형 서비스 구축에 필요한 개발 과정을 간소화한다는 구상이다.
미스트랄은 20일(현지시간) 음성-텍스트 변환(STT)과 텍스트-음성 변환(TTS) 모델을 묶은 음성 AI 제품군 ‘복스트랄 3(Voxtral 3)’을 출시했다.
음성 인식과 추론, 도구 호출, 음성 응답을 하나의 파이프라인에서 처리하는 음성 에이전트 개발 도구도 함께 공개했다.
복스트랄 3은 음성 인식 모델 3종, 음성 생성 모델 1종, SDK로 구성된다. 모든 모델은 미스트랄 API에서 공개 프리뷰로 이용할 수 있다.
음성 인식 모델 가운데 주력 제품인 ‘복스트랄 스몰 트랜스크라이브 3(Voxtral Small Transcribe 3)’은 다국어 전사와 화자 구분, 문맥 기반 인식을 지원한다. ‘복스트랄 미니 트랜스크라이브 3(Voxtral Mini Transcribe 3)’은 매개변수 40억개를 탑재한 경량 모델로, 비용과 처리 속도가 중요한 환경을 겨냥했다. 실시간 스트리밍에 초점을 맞춘 ‘복스트랄 미니 트랜스크라이브 리얼타임 3(Voxtral Mini Transcribe Realtime 3)’도 함께 제공된다.
세 모델 모두 화자 구분과 문맥 편향(context biasing)을 지원한다. 문맥 편향은 특정 인명이나 전문 용어처럼 중요한 단어를 미리 입력해 음성 인식 정확도를 높이는 기능이다.
배치 전사는 50개 이상의 언어를 지원한다. 실시간 모델은 사용자의 발화가 끝나는 시점을 감지해 에이전트가 불필요하게 기다리지 않고 답할 수 있도록 한다.
성능 평가 결과도 공개했다. 스몰 트랜스크라이브 3은 아티피셜 애널리시스의 비실시간 음성-텍스트 변환 순위에서 3위를 기록했다. 이 평가에서 단어 오류율(AA-WER)은 2.1%였고, 미니 모델은 2.2%였다. 단어 오류율은 낮을수록 정확도가 높다.
다만 실시간 전사 모델은 지연 시간과 정확도 사이에서 절충이 필요한 것으로 나타났다. 미스트랄이 공개한 FLEURS 35 평가에서 지연 시간을 240밀리초(ms)로 설정했을 때 단어 오류율은 7.4%였다. 지연 시간을 2400ms로 늘리자 오류율은 5.7%로 낮아졌다.
음성 생성 모델 ‘복스트랄 스피치 3(Voxtral Speech 3)’은 35개 이상의 언어와 50개 이상의 방언으로 자연스러운 음성을 만든다. 대화의 감정과 속도, 강조점에 맞춰 말투를 조절하고, 사용자가 설정을 직접 지정하는 기능도 지원한다. 예를 들어 [emotion=sad][pace=slow] 태그를 입력하면 슬픈 감정과 느린 말하기 속도를 지정할 수 있다.
전문 음성 적응 기능인 ‘프로 보이스(Pro Voice)’도 공개됐다. 최대 30분 분량의 음성을 제공하면 화자의 목소리와 말하기 스타일을 높은 충실도로 재현할 수 있다. 지원하는 여러 언어에서 같은 목소리를 사용할 수 있도록 설계됐다.
복스트랄 스피치 3은 약 90ms 만에 오디오 생성을 시작한다. 가격은 문자 100만개당 13달러다. 음성 인식 모델의 분당 요금은 미니 트랜스크라이브 3이 0.0035달러, 스몰 트랜스크라이브 3이 0.004달러, 실시간 모델이 0.008달러다.
함께 선보인 음성 에이전트 SDK는 실시간 통신 플랫폼 라이브킷(LiveKit)을 기반으로 한다. 음성 전사 모델이 사용자의 말을 인식하고 발화가 끝났는지 감지하면, 추론 모델이 내용을 분석해 필요한 도구를 호출한다. 이어 음성 생성 모델이 응답을 전달하는 방식이다. 미스트랄은 이 파이프라인이 자연스러운 대화를 지원하고, 대화 턴마다 1초 이내에 처리하도록 설계됐다고 설명했다.
사용자가 에이전트의 말을 끊으면 응답을 중단하는 기능도 갖췄다. 전화 통화에 쓰이는 SIP와 브라우저·앱 기반 세션에 쓰이는 WebRTC를 처리할 수 있다. 각 단계는 별도의 모델로 구성돼 있어 개발자가 필요에 따라 추론 모델, 음성, 언어를 바꿀 수 있다.
SIP(Session Initiation Protocol)는 인터넷으로 음성·화상 통화 같은 실시간 통신 세션을 연결하고 유지하거나 종료하는 데 사용하는 신호(Signaling) 표준 규격이다. WebRTC는 별도의 플러그인이나 추가 소프트웨어를 설치하지 않고도 웹 브라우저와 앱 사이에서 음성, 영상, 파일, 텍스트 등을 실시간 P2P(Peer-to-Peer) 방식으로 주고받게 해주는 개방형 표준 기술이다.