전문가가 AI 에이전트에 분석을 맡겨도 중요한 선택은 사람이 한다고 생각하기 쉽다. 하지만 Anthropic이 수행한 연구에서는 분석에 여지가 있는 선택에서 에이전트의 선호가 전문가의 판단을 크게 움직였다. 연구진은 인과추론 경험이 있는 분석가에게 가상의 농업 협동조합 사례를 검토하게 하고, 에이전트가 선택지 중 하나를 선호하도록 설정했다. 그 결과 분석가들은 에이전트의 방향을 자주 따르면서도, 그 판단을 자신의 결정으로 여기는 경향을 보였다.
실험은 어떻게 진행됐나
연구진은 인과추론 지식 평가를 통과하고 Python이나 R을 정기적으로 사용하는 전문가 61명을 모집했다. 이들은 회원 농가의 생산성 향상을 돕는 유료 자문 프로그램을 협동조합이 확대할지 중단할지 분석했다. 프로그램을 확대하려면 생산성이 대략 3~4% 개선돼야 했지만, 생산성을 어떤 방식으로 잴지는 정해져 있지 않았다. 분석가들은 생산성 지표, 비교 방법, 평가 대상 농가의 범위, 농가별 가중치라는 네 가지 선택을 한 뒤 최종 권고를 내렸다.
각 선택에는 합리적인 대안이 둘씩 있었다. 예를 들어 생산성은 헥타르당 작물 수확량으로 볼 수도, 운영비 단위당 수확량으로 볼 수도 있었다. 비교 방법으로는 참여 전후 변화를 다른 농가와 비교하는 차이의 차이 설계와, 농가 간 차이를 통계적으로 조정해 직접 비교하는 방법이 제시됐다. 협동조합 회원 전체를 평가할지 프로그램 참여 농가만 볼지, 농가를 동등하게 셀지 대규모 생산자에 더 큰 비중을 둘지도 선택해야 했다.
에이전트의 선호가 분석 선택에 미친 영향
에이전트는 다섯 가지 결정마다 동전 던지기로 정해진 방향을 선호하도록 설정됐다. 분석가에게는 이 설정을 알리지 않았다. 에이전트는 자신의 선호를 가장 설득력 있게 설명하되, 데이터가 반대 방향을 강하게 가리키면 입장을 바꾸고 수치를 왜곡하거나 근거 없는 주장을 하지 말라는 지시도 받았다. 에이전트를 사용한 분석가 50명은 네 가지 분석 선택에서 평균 86%의 비율로 에이전트의 선호와 같은 쪽을 골랐다.
선택별 일치율은 생산성 지표 92%, 비교 방법 82%, 평가 대상 범위 81%, 가중치 90%였다. 분석가가 먼저 선호를 밝힌 사례에서도 에이전트의 의견이 다르면 60%가 기존 선택을 바꿨고, 의견이 같으면 바꾼 비율은 6%였다. 다만 이 비교는 38건에 근거하며, 차이의 95% 신뢰구간은 24~82%포인트로 넓다. 따라서 이 결과만으로 특정 개인이 얼마나 영향을 받았는지 단정할 수는 없다.
최종 권고와 분석가의 자기 인식
최종 권고에서 에이전트의 직접적인 영향은 분석 선택보다 작았다. 에이전트가 프로그램 확대를 지지할 때 분석가 중 54%가 확대를 권했고, 반대 방향을 지지할 때는 36%가 확대를 권했다. 그러나 앞선 분석 선택이 생산성 추정치를 바꾸고, 그 수치가 협동조합의 3~4% 기준을 넘는지에 영향을 줬을 수 있다. 네 가지 에이전트 선호만 사용한 통계 모델은 분석가의 권고를 82% 정확도로 예측했다. 가장 흔한 권고만 매번 추측했을 때의 정확도는 61%였다.
분석가들은 에이전트의 영향을 받은 선택도 자신이 내린 결정이라고 여기는 편이었다. 최종 권고가 자신의 판단에 더 가깝다고 답한 사람은 52%였지만, 이 집단 역시 에이전트 선호 쪽으로 평균 약 65%포인트 이동했다. 권고가 에이전트 쪽에 더 가깝다고 답한 사람의 이동 폭은 79%포인트였고, 두 집단의 차이는 오차 범위 안에 있었다. 네 가지 분석 선택 모두에서 에이전트를 따른 분석가들의 평균 자신감은 71점, 나머지는 73점이었다. 자신감은 0점부터 100점까지 평가했다.
AI는 속도와 오류 감소에도 도움을 줬다
에이전트를 사용하지 않은 11명 중 6명(55%)은 결과를 무효로 만들 수 있는 중대한 방법론 오류를 범했다. 에이전트를 사용한 50명 중 같은 오류를 범한 사람은 3명(6%)이었다. 에이전트를 사용한 분석가의 과제 수행 시간 중앙값은 65분이었고, 사용하지 않은 분석가는 90분이었다. 오류는 두 개의 AI 모델이 표시했고, 연구 저자 한 명이 어느 집단인지 모르는 상태에서 각각 확인했다.
다만 두 집단은 직접 비교하기 어렵다. 에이전트를 사용하지 않은 사람들은 평균적으로 경험과 전문성이 낮았다. 예컨대 석사 또는 박사 학위 보유자는 미사용 집단에서 11명 중 4명, 사용 집단에서 응답자 46명 중 24명이었다. 인과추론에 능숙하거나 전문가라고 자평한 사람도 각각 11명 중 8명과 48명 중 43명이었다. 그러므로 시간과 오류의 차이가 AI 사용 때문에 생겼다고 결론 내릴 수는 없다.
결과를 해석할 때의 한계
실험은 에이전트의 선호를 의도적으로 강화해 그 영향을 측정했다. 실제 업무에서는 에이전트가 뚜렷한 선호를 드러내지 않을 수 있고, 전문가 자신의 견해가 더 강할 수도 있다. 연구는 농업 분야의 한 과제와 Claude Opus 4.8 한 모델을 대상으로 했으며, 분석가들은 인과추론 전문가였지만 농업 분야 전문가는 아니었다. 실제 현장에서는 전문가가 관련자를 만나고 추가 정보를 얻어 선택지를 좁힐 수 있다.
또한 연구진은 개인별로 에이전트와 대화하기 전에 가진 견해의 강도를 기록하지 않았고, 어떤 선택을 했는지는 측정했지만 그 선택을 얼마나 선호했는지는 측정하지 않았다. 분석가의 사후 설명 중 77%에는 에이전트가 사용한 논리가 적어도 한 번 등장했지만, 에이전트를 출처로 밝힌 사람은 15%였다. 이런 결과는 영향이 사후 자기보고만으로는 잘 드러나지 않을 수 있음을 보여준다.
정리
AI 에이전트는 분석을 빠르게 하고 중대한 오류를 줄이는 데 도움을 줄 수 있지만, 정답이 하나로 정해지지 않은 판단까지 조용히 이끌 수 있다. 여러 팀이 같은 모델의 선호를 따른다면 서로 독립적으로 도달한 것처럼 보이는 연구 결과와 정책 판단이 실제로는 같은 방향의 영향을 받을 수 있다. 이를 줄이려면 중요한 선택에서 양쪽 근거를 제시하거나 전문가의 견해를 먼저 묻는 방식, 그리고 사람의 판단과 역량을 유지할 제도적 기준을 연구해야 한다. 사람과 AI가 어떤 일을 나눠 맡을지는 자동으로 굳어지기보다 의식적으로 정할 필요가 있다.