AI 음성 에이전트는 전화, 브라우저, 또는 앱 내에서 음성 인식, 언어 모델, 합성 음성을 결합해 실시간 음성 대화를 나누는 소프트웨어입니다. 최근에 은행에 전화해서 "청구 관련은 1번" 로봇이 갑자기 사람처럼 후속 질문에 답변하기 시작했다면, 그것이 구형 IVR이 아니라 음성 에이전트입니다. 저희는 지난 18개월간 Retell, Vapi, OpenAI Realtime에서 음성 에이전트를 배포했으므로, 여기서의 설명은 벤더 마케팅이 아닌 실제 구축 경험에서 나온 것입니다.
빠른 답변:
- AI 음성 에이전트는 STT, LLM, TTS를 사용해 실시간 전화 또는 웹 대화를 나누는 소프트웨어입니다.
- IVR(메뉴 트리 없음), 챗봇(텍스트 전용), 음성 어시스턴트(한 번의 명령)와 다릅니다.
- 실시간 느낌을 주려면 음성-텍스트 변환, LLM, 텍스트-음성 변환을 합쳐 약 700ms 응답 예산 내에 머물러야 합니다.
- 2026년 대부분의 프로덕션 음성 에이전트는 OpenAI Realtime, Deepgram Voice Agent, Retell, Vapi 같은 스트리밍 파이프라인으로 구축됩니다.
AI 음성 에이전트란?
AI 음성 에이전트는 사람과 실시간 음성 대화를 나누는 소프트웨어입니다. 오디오를 듣고, 음성-텍스트 변환(STT)을 사용해 음성을 텍스트로 변환한 다음, 그 텍스트를 무엇을 말할지와 어떤 도구를 호출할지 결정하는 대규모 언어 모델(LLM)로 보내고, 답변을 텍스트-음성 변환(TTS)으로 다시 오디오로 바꿉니다. 전체 루프는 연속으로 실행되며, 차례 바꾸기, 중단 처리, 대화 중간에 실제 API 호출을 할 수 있는 능력이 있습니다.
마지막 부분이 음성 에이전트가 그 이름을 얻는 이유입니다. 단순히 말하는 것이 아니라 행동합니다. 이런 상황을 생각해 보세요. 약속을 변경하기 위해 전화합니다. 에이전트가 "좋아요, 어느 날이 괜찮으세요?"라고 말합니다. 당신이 답합니다. 달력 API를 핑하고, 빈 시간을 찾고, 그것들을 읽고, 당신이 선택한 것을 예약하고, 확인 문자를 보냅니다. 90초 통화 안에 네 가지 도구 호출입니다.
잠그야 할 네 가지 핵심 기능:
- 실시간 청취 — 당신이 말하는 동안 부분 텍스트가 도착하며, 멈춘 후가 아닙니다.
- 의도 이해 — LLM이 키워드뿐 아니라 실제로 당신이 원하는 것을 해석합니다.
- 음성으로 응답 — 자연스러운 음성, 일시 정지, 문장 중간에 중단될 수 있는 능력.
- 행동 수행 — CRM, 달력, 예약 시스템, 또는 API가 있는 모든 것에 대한 함수 호출.
AI 음성 에이전트는 마이크가 달린 챗봇이 아닙니다. 사람이 불편해지기 전에 기다리는 시간 안에 청취하고, 생각하고, 말해야 하는 실시간 파이프라인입니다. 그런데 그 시간은 놀랍도록 짧습니다. 잠깐 더 설명하겠습니다.
AI 음성 에이전트가 실제로 어떻게 작동하는가: 5계층 스택
프로덕션 AI 음성 에이전트는 다섯 계층에서 실행됩니다. 통신 계층이 오디오를 주고받고, STT가 음성을 텍스트로 바꾸고, 도구 호출 기능이 있는 LLM이 응답과 모든 행동을 결정하고, TTS가 답변을 다시 음성으로 바꾸고, 오케스트레이터가 전체 파이프라인을 지휘합니다. 각 계층은 별개의 모델 또는 서비스이며, 700ms 시계에 대항합니다.
오디오가 흐르는 순서대로 각 계층을 설명합니다:
- 통신 / 전송 — Twilio, Telnyx, SIP 트렁크, 또는 WebRTC. 이것은 전화 통화(또는 브라우저 오디오)를 스택으로 들여보내고 발신자에게 다시 내보내는 따분하지만 중요한 계층입니다. 코덱 선택이 나쁘거나 시끄러운 SIP 경로면, 나머지 훌륭한 파이프라인도 2007년 Skype 통화처럼 들립니다.
- 음성-텍스트 변환(STT / ASR) — Deepgram Nova-3, AssemblyAI Universal-2, OpenAI Whisper, NVIDIA Canary Qwen 2.5B, Kimi-Audio. 이들은 사용자가 여전히 말하고 있는 동안 스트리밍 오디오를 텍스트로 바꿉니다. 어려운 부분은 전사 정확도가 아니라 엔드포인팅(사용자가 생각을 마쳤는지 판단하기)입니다.
- LLM + 도구 호출 — GPT-4o, Claude 4, Gemini 2.0. 다른 곳에서 사용하는 것과 같은 모델들인데, 이제 더 타이트한 지연 시간 예산과 CRM 조회, 예약 API, "사람에게 전환" 도구를 가리키는 구조화된 함수 호출 스키마가 있습니다. 오케스트레이터가 대화를 기반으로 어느 것을 호출할지 선택합니다.
- 텍스트-음성 변환(TTS) — ElevenLabs Flash, Cartesia Sonic, OpenAI TTS, Deepgram Aura. 답변 텍스트는 토큰 단위로 스트리밍되고, TTS는 청크 단위로 오디오를 합성하므로 음성은 LLM이 문장을 마치기 전에 재생 시작됩니다.
- 오케스트레이터 — Retell, Vapi, Bland, LiveKit Agents, OpenAI Realtime, 또는 오픈소스 Pipecat. 네 계층 사이를 스트리밍하고, 바지인(당신이 에이전트를 중단시키기)을 처리하고, 오류에서 복구하고, 대화 상태를 유지하는 지휘자입니다. 어떤 오케스트레이터 플랫폼이 가장 적합한지 머리-투-머리 비교를 원한다면, 비교 섹션이 그것을 다룹니다.
음성 에이전트는 하나의 모델이 아닙니다. 700ms 시계에 대항하는 다섯 개의 컴포넌트입니다.
알아두어야 할 두 가지 아키텍처 방식이 있습니다. 캐스케이딩(STT → LLM → TTS가 별개의 모델인 위의 5계층 파이프라인)과 엔드-투-엔드 음성-음성(OpenAI Realtime API처럼 한 모델이 오디오 인입과 아웃풋을 처리). 엔드-투-엔드가 더 빠르고 자연스럽습니다. 캐스케이딩은 더 제어 가능하고 저렴합니다. 2026년 대부분의 프로덕션 스택은 여전히 캐스케이딩입니다.
"스트리밍"이 여기서 실제로 무엇을 의미하는가?
스트리밍이 핵심입니다. STT는 몇 백 밀리초마다 부분 텍스트를 방출하고, LLM은 생성할 때 토큰을 스트리밍하고, TTS는 사용자가 중단하면 취소할 수 있는 청크 단위로 오디오를 합성합니다. 그 결과는 대화처럼 느껴집니다. 스트리밍이 없으면 양방향 라디오처럼 느껴집니다.
설명적인 에이전트 구성입니다(Retell / Vapi 스타일 — 정확한 문법은 플랫폼마다 다릅니다):
500-700ms 지연 시간 예산 (그리고 당신이 느끼는 이유)
인간은 자연 대화에서 대략 600-700밀리초 안에 답변을 기대합니다. 1초 이상으로 늘어나면 통화가 불량한 셀 연결처럼 느껴집니다. 1.2초를 넘으면 사용자가 에이전트 위에서 말하거나 끊기 시작합니다. 그래서 음성 에이전트 아키텍처는 근본적으로 지능 문제가 아닌 지연 시간 문제입니다.
건강한 스택의 예산 분배는 다음과 같습니다:
700ms 음성 에이전트 예산이 지출되는 곳
우리 구축에서 LLM의 첫 토큰까지의 시간이 가장 큰 변수입니다. 우리는 200ms(좋은 날의 GPT-4o)에서 2초 이상(더 긴 컨텍스트 윈도우, 콜드 모델)까지 변동을 봤습니다. 이것이 대부분의 분당 비용이 살고 있는 곳이기도 하므로, 이 스택을 실행하는 실제 분당 비용 분해는 그 자체로 깊은 다이브입니다.
두 가지 다른 것들이 조용히 예산을 먹습니다. 엔드포인팅은 STT가 사용자가 말하기를 마쳤다고 결정할 때입니다. 너무 공격적으로 설정하면 에이전트가 당신을 중단하고, 너무 느슨하면 어색하게 앉아 있습니다. 바지인 처리는 재생 중간에 취소할 수 있는 TTS 청크가 필요합니다. 그렇지 않으면 에이전트가 당신 위에서 계속 말합니다. 둘 다 오케스트레이터 수준의 관심사입니다.
스택이 답변하는 데 1.2초 이상 걸리면, 사용자들은 이미 당신이 망가졌다고 판단하고 있습니다.
AI 음성 에이전트 대 IVR 대 챗봇 대 음성 어시스턴트
이 네 가지는 끊임없이 헷갈립니다. AI 음성 에이전트는 도구 사용을 가진 열린 대화형 실시간 음성 대화를 합니다. IVR은 선형 전화 메뉴입니다. 챗봇은 텍스트 전용입니다. Alexa나 Siri 같은 음성 어시스턴트는 짧은, 한 번의 음성 명령을 처리합니다. 차이점은 입력 형식, 지능, 실시간성, 그리고 각각이 무엇을 대체하는지입니다.
진정한 구분은 이것입니다. 음성 에이전트는 도구 사용을 가진 실시간, 열린 대화형, 다중 턴 음성을 하는 유일한 것입니다. IVR은 메뉴입니다. 챗봇은 텍스트 창입니다. 음성 어시스턴트는 명령에 답합니다. 음성 에이전트는 대화합니다.
그럼 Alexa는 AI 음성 에이전트인가?
아니요. Alexa, Siri, Google Assistant 같은 음성 어시스턴트는 한 번의 명령, 폐쇄된 정원 명령 엔진입니다. "10분 타이머를 설정해"에 최적화되어 있지, "배송 시간을 협상하면서 주문 이력을 조회하면서 계약자와 협상해"가 아닙니다. 다른 문제, 다른 스택입니다.
AI 음성 에이전트는 무엇에 사용되는가
...