통념: 오픈 모델이면 곧바로 실무에 쓸 수 있다
엔비디아가 10월 28일 공개한 네모트론 3.5 트랜스크라이브는 40개 언어 받아쓰기와 영어 및 지원 언어 간 음성 번역을 지원하는 오픈 가중치 모델이다. 최대 1시간 녹음을 처리하고, 화자를 구분해 표시한다. 이 기능만 보면 회의록이나 의료 기록 서비스를 직접 구축할 실무 선택지로 보인다.
하지만 오픈 가중치는 학습된 모델 파일을 내려받아 실행할 수 있다는 뜻이지, 정확도나 운영 편의가 모든 환경에서 보장된다는 뜻은 아니다.
반론: 평균 오류율이 감추는 변수
엔비디아가 공개한 단어 오류율은 영어 오픈 음성인식 데이터셋 9개 평균 4.71%, 7개 언어 평균 4.62%다. 단어 오류율은 받아쓴 글에서 틀린 단어의 비율이며 낮을수록 좋다. 여러 사람이 말하는 녹음 평가에서는 15.80%로 기존 공개 최고 결과 16.83%보다 낮다.
수치가 좋아 보여도, 평균은 특정 녹음에서의 성능을 보장하지 않는다. 뉴스에는 언어별 결과나 업종별 전문용어 정확도가 제시돼 있지 않다. 회의에서 화자를 최대 8명까지 구분한다는 보도도 있지만, 화자 구분과 발화 내용의 정확성은 별개의 평가 항목이다. 특히 의료 기록에서는 숫자나 용어의 오인식이 핵심 리스크가 될 수 있다.
리스크: 실행 가능성과 실제 비용은 다르다
모델 전체는 약 340억 매개변수지만, 전문가 혼합(MoE) 구조로 작업마다 일부 모듈만 작동해 실제 연산 참여량은 약 43억 개다. H100 80GB 한 장에서 실행할 수 있고, RTX PRO 6000에서 초당 약 2,238초 분량을 처리했다는 수치도 공개됐다. 다만 이 처리량은 특정 GPU와 FP8·NVFP4 버전에 관한 결과다. 실제 서비스에서는 사용하는 장비와 녹음 조건에서 확인해야 한다.
실시간 음성은 지원하지 않고 녹음 파일만 처리한다. 따라서 실시간 통역이나 대화형 응답이 필요한 흐름에는 맞지 않을 가능성이 크다. 최악의 경우, 성능 평균만 믿고 자동 기록을 배포했다가 오류가 회의록이나 의료 문서에 남아 검수·정정 비용과 신뢰를 잃을 수 있다.
결론
네모트론 3.5는 다국어 녹음 처리와 화자 구분을 한 모델에서 제공하지만, 공개 성능 수치만으로 현장 적합성을 판단하기는 어렵다.
- 실제로 사용할 언어와 녹음 파일로 먼저 받아쓰기 결과를 점검한다.
- 전문용어와 숫자, 화자 구분을 별도로 확인하고 사람의 검수 절차를 둔다.
- 실시간 처리가 필요한지, 보유 장비에서 처리량이 재현되는지 도입 전에 확인한다.
- #엔비디아
- #네모트론
- #음성인식
- #받아쓰기
- #인공지능