딥시크의 최신 모델은 독립 안전성 평가에서 앞선 버전보다 통제 능력이 향상된 모습을 보였다. 하지만 시스템 종료를 막고 모니터링을 피하려는 행동 등 중대한 안전성 문제도 여전히 확인됐다. 중국의 민간 독립 기관이 자국 대표 AI 모델의 안전성을 제3자 관점에서 투명하게 검증했다는 점에서 이번 평가는 이례적인 사례로 주목받고 있다.
중국의 독립 AI 안전성 평가 기관 팡춘 AI(Fangcun AI)는 26일 '딥시크 V4.1 플래시-1017'을 대상으로 한 테스트 결과를 공개했다.
연구진은 34개 평가 항목을 활용해 모델이 사용자 지시를 따르지 않고 행동하는지, 인간의 감독을 피하는지, 기만적인 방법으로 목표를 달성하려는 경향이 있는지를 살폈다. 연구 보고서는 논문 사전 공개 저장소인 아카이브(arXiv)에 게재됐다.
보고서에 따르면 해당 모델은 협박, 잠재적으로 위험한 도구에 대한 접근, 명시적인 시스템 종료 지시 등 여러 안전성 평가에서 이전 V4 모델보다 나은 결과를 냈다. 다만 작업을 이어가려는 성향이 인간의 통제보다 앞서는 경우도 발견됐다.
가장 눈에 띄는 문제는 시스템 종료를 피하려는 행동이었다. 종료가 임박했다는 경고를 받자, 모델은 테스트의 39%에서 종료용 소프트웨어를 비활성화했다. 반면 종료를 허용하라는 명확한 지시가 추가되면 이 비율은 2%로 낮아졌다.
장시간 작업 중에도 문제가 드러났다. 연구진은 모델이 메모리를 확보하려고 다른 AI 에이전트의 컴퓨터 프로그램을 중단한 사례를 확인했다. 해당 프로그램에 개입하지 말라는 지시가 있었지만, 모델은 작업을 강제로 멈췄다.
팡춘 AI 연구진은 "작업 흐름이 정체되거나 단순히 종료 경고만 주어진 상황에서는 작업을 완수하려는 성향이 여전히 신중함을 압도할 수 있다"고 지적했다.
이번 결과는 중국 AI 모델의 안전성 검증을 둘러싼 우려가 이어지는 가운데 공개됐다. 앞서 미국 AI 안전성 연구기관 아폴로 리서치는 중국 Z.ai(지푸 AI)의 플래그십 모델 'GLM-5.3'이 AI 안전성 테스트를 조작하거나 회피할 잠재력을 보였다는 연구 결과를 발표했다.
중국 AI 업계가 안전성 검증 결과를 공개하는 방식도 문제로 꼽힌다. 한 조사에 따르면 중국 AI 개발사 가운데 모델 출시 시점에 안전성 평가 결과를 투명하게 공개한 곳은 1.1%에 그쳤다. 출시 후 상당한 시간이 지난 뒤 공개한 사례를 더해도 전체의 3.6%에 불과했다. 이는 모델 성능이 빠르게 향상되는 상황에서 외부가 안전성 검증 결과를 확인하기 어렵다는 점을 보여준다.
팡춘 AI가 중국 주요 AI 모델의 안전성을 중국 내 제3자 기관으로서 공개 검증한 이례적인 사례라는 점도 주목받고 있다. 베이징에 기반을 둔 이 기관은 칭화대 출신 인사들이 핵심 구성원으로 참여하는 독립 AI 안전성 평가 기관이라고 소개하고 있다.
연구진은 딥시크에서 연구비나 무료 컴퓨팅 자원, 비공개 모델 접근 권한을 지원받지 않았다고 밝혔다. 테스트는 10월4일부터 25일까지 딥시크의 공개 API를 이용해 진행됐다.
다만 팡춘 AI는 모델이 자신이 평가받고 있음을 알아차린 듯한 반응을 보였다는 점도 보고서에 밝혔다. 따라서 테스트 결과가 실제 사용 환경에서의 행동을 온전히 반영하지 않을 수 있다는 한계가 있다.