오픈AI가 입력 내용을 분류하거나 다음 행동을 고르는 등 반복적으로 발생하는 판단을 빠르고 저렴하게 처리하는 ‘디시전스 API(Decisions API)’를 정식 출시했다. 개발자가 미리 정한 답변 범위에서 결과를 선택하거나 확률과 점수를 반환하는 방식으로, AI 에이전트와 애플리케이션의 대기 시간 및 운영 비용을 줄이는 데 초점을 둔다.
오픈AI는 22일(현지시간) 공식 발표를 통해 디시전스 API를 전체 고객에게 정식 제공한다고 밝혔다. GPT-6 루나를 기반으로 한 이 API는 기존 ‘리스폰스 API(Responses API)’로 GPT-6 루나를 사용할 때보다 특정 의사결정 작업을 최대 10배 빠르게 처리할 수 있다.
디시전스 API는 애플리케이션과 AI 에이전트가 작업 중 반복하는 간단한 판단을 겨냥한다. 입력 내용을 분류하고 요청을 알맞은 경로로 보내거나, 다음에 실행할 행동을 선택하는 작업 등이 해당한다. 한 번의 판단에 필요한 연산은 간단해도 대규모 서비스에서 계속 반복되면 지연과 비용이 쌓인다.
오픈AI API 제품 책임자 니쿤지 한다는 테크크런치 인터뷰에서 경쟁사 의사결정 모델을 살펴본 뒤 “우리에게도 활용 사례가 수없이 많다는 생각이 들었다”고 말했다. 별도의 의사결정 전용 모델을 새로 훈련하기보다는 기존 GPT-6 루나의 추론 과정을 최적화해 속도와 비용을 개선하는 방향으로 제품을 개발했다고 설명했다.
한다는 “디시전스 API의 가장 큰 돌파구는 속도”라며, “1~3초 걸리던 작업을 100~180밀리초 수준으로 줄였다”고 밝혔다. 향후 이러한 작업에 특화된 학습을 더해 성능을 끌어올릴 가능성도 열어뒀다.
개발자는 API에 질문과 허용할 답변을 정의하고, 텍스트·이미지·구조화된 JSON 데이터를 입력하면 된다. 결과는 확률, 선택지, 점수의 세 가지 형태로 제공되며, 애플리케이션은 이를 바탕으로 다음 작업을 결정할 수 있다. 여러 단계로 이뤄진 업무 흐름에서 되풀이되는 판단을 자동화하는 데 알맞다.
공개 베타를 거치며 기능과 인프라도 확대됐다. ‘GPT-라이브’와 기본 통합을 지원하고, 반복적으로 쓰는 문맥을 위한 프롬프트 캐싱 기능을 추가했다. 이미지가 포함된 질문과 네이티브 JSON 입력도 처리하며, 요청 한 건에 담을 수 있는 질문 수는 기존의 두 배인 최대 400개로 늘었다. 추론을 미국과 유럽연합(EU) 내에서 처리하도록 설정하는 기능도 제공한다.
특히 GPT-라이브와 함께 사용하면 음성 기반 AI 서비스가 대화 중 실시간으로 판단을 내릴 수 있다. 고객 지원 에이전트가 추가 질문을 할지, 다른 담당자에게 요청을 넘길지 선택하고, 가상 아바타가 사용자의 말에 맞춰 표정과 반응을 바꾸는 식이다. 오픈AI는 이 기능으로 음성 서비스의 상호작용을 더 자연스럽게 할 수 있다고 설명했다.
실제 적용 사례도 나오고 있다. 오픈AI는 내부 음성 비서 ‘닷츠(Dots)’의 응답 속도를 높이는 데 디시전스 API를 쓰고 있다. 퍼스널 파이낸스팀은 거래 내역을 분류하고, 커뮤니케이션팀은 언론 보도를 주제별로 분류해 특정 메시지를 뒷받침하는지 또는 반박하는지 평가하는 데 활용한다. 외부 고객사도 AI 비용을 분류하거나 언어 학습 서비스의 반응 속도를 높이는 등 여러 업무에 적용 중이다.
AI 언어 학습 서비스 개발사 스픽(Speak)의 앤드루 쉬 CTO는 GPT-라이브에 디시전스 API를 통합해 시험한 결과, 다음 행동까지 걸리는 시간이 1.4초에서 0.13초로 단축됐다고 밝혔다. 박스(Box), 데이터독(Datadog), 램프(Ramp) 등도 초기 시험에 참여했다.
가격 경쟁력도 강조했다. 디시전스 API의 요금은 입력 토큰 100만 개당 0.10달러이며, 캐싱된 입력은 0.01달러다. 출력 토큰에는 별도 요금이 없다. 자격 요건을 충족하는 고객은 제로 데이터 보존(Zero Data Retention) 옵션도 이용할 수 있다.