오픈AI가 AI 모델의 행동 원칙을 크게 손질하고, 인간의 의도를 파악해 스스로 판단하는 능력을 핵심 기준으로 내세웠다. AI가 단순한 질문과 답변을 넘어 복잡한 일을 자율적으로 처리하는 에이전트로 발전하면서 이용자의 지시만으로 모든 상황을 제어하기 어려워졌기 때문이다. 이에 오픈AI는 AI가 예기치 않은 상황에서도 인간의 목적과 가치를 바탕으로 판단하는 한편, 이용자가 감독하고 통제할 수 있도록 하겠다는 방침이다.
오픈AI는 29일(현지시간) 공식 블로그를 통해 AI 모델의 행동 원칙을 담은 개정판 ‘모델 스펙(Model Spec)’을 공개했다.
모델 스펙은 AI가 이용자의 지시를 따르는 방식과 안전 문제에 대응하는 기준 등을 정리한 공개 행동 지침이다. 2024년 5월 처음 발표된 뒤 여러 차례 개정됐으며, 이번에는 인간의 의도를 이해하고 자율적으로 판단하는 역량에 초점을 맞춰 원칙을 다시 정리했다.
개정판은 기존의 세부 행동 지침을 인간의 의도에 대한 충실성, 피해 최소화, 정직성과 투명성, 인간의 자율성 지원, 배려라는 다섯 가지 핵심 가치로 묶었다. 이 중 가장 중요한 원칙으로는 인간의 의도에 대한 충실성을 꼽았다.
오픈AI는 “모델이 똑똑해지고 현실 세계에서 중요한 행동을 수행할수록 구체적인 지시를 해석하는 것만으로는 충분하지 않다”라며 “인간의 의도와 가치를 이해해 명시적인 지시가 없는 상황에서도 적절하게 판단하면서 인간의 의도와 감독에 충실해야 한다”라고 밝혔다.
이번 개편에는 AI의 역할이 챗봇에서 자율적으로 업무를 수행하는 주체로 바뀌고 있다는 점이 반영됐다. 지금까지는 이용자의 명령을 정확히 따르는 일이 중요했다면, AI 에이전트는 여러 단계로 이뤄진 업무를 진행하며 명시적인 지시가 없을 때도 판단해야 한다.
가령 AI 에이전트가 이용자를 대신해 출장 일정을 예약할 경우, 항공편과 숙소를 찾는 데서 그치지 않고 예산과 개인 선호도 등을 고려해야 한다. 그렇더라도 이용자의 승인을 받지 않은 결제나 일정 변경을 임의로 해서는 안 된다.
오픈AI는 이런 문제에 대응하기 위해 개별 행동 규칙을 더하는 데 그치지 않고, AI가 규칙의 목적과 인간의 가치를 이해하도록 하는 새로운 학습 방식을 연구하고 있다. 이를 통해 AI가 처음 마주하는 상황에서도 적절히 판단하도록 한다는 계획이다.
특히 AI에 더 많은 자율성을 주면서도 인간의 통제권을 보장하는 데 무게를 뒀다. AI는 업무를 수행할 때 허용된 권한과 작업 범위를 지켜야 하며, 인간의 감독이나 중단 지시를 피해서는 안 된다. AI 에이전트가 널리 쓰이면서 작업 정확도뿐 아니라 행동을 예측하고 통제하는 능력도 중요한 과제로 떠올랐다.
이용자의 실제 목적을 파악하도록 대화 이력과 메모리 같은 맥락 정보를 활용하는 지침도 마련했다. 반면 기존 모델 스펙에 담겼던 문체와 표현 방식에 관한 세부 규칙은 크게 줄여, 이용자의 선호와 상황에 맞춰 답변할 수 있도록 했다.
오픈AI는 이번 개편이 AI 모델의 행동을 인간의 가치에 맞추려는 ‘정렬(Alignment)’ 연구의 일부라고 설명했다. 앤트로픽 역시 ‘클로드’의 행동 기준을 정리한 ‘헌법(Constitution)’을 통해 모델의 판단 원칙을 규정하고 있다.
기업들이 AI 에이전트에 실제 업무를 맡기기 시작하면서 신뢰성과 안전성을 확보해야 할 필요가 커진 가운데 이번 개편이 이뤄졌다. AI가 복잡한 일을 자율적으로 처리할수록 예상하지 못한 행동이나 권한을 벗어난 작업을 방지하는 역량이 중요해지기 때문이다. 오픈AI의 업무 자동화 기술에 대한 신뢰를 높이기 위한 기반을 마련하는 움직임으로도 풀이된다.
다만 오픈AI는 현재 모든 모델에 이번 지침이 완전히 구현된 것은 아니라고 밝혔다. 새로운 상황에서도 AI가 핵심 가치를 적용할 수 있도록 학습 방식을 연구 중이며, 앞으로 연구 결과와 실제 서비스 경험을 토대로 지침을 지속적으로 개선할 계획이다.