요즘 AI 업계가 자율 에이전트의 보안 사건으로 몸살을 앓고 있다. 오픈AI를 시작으로 앤트로픽, 메타, 문샷 AI의 오픈 모델에 이르기까지 보안 침해 사건이 연쇄적으로 터지고 있는 상황이다.
일부에서는 AI가 스스로 해로운 행동을 시도하는 '스카이넷' 같은 시나리오를 우려하고 있다.
그러나 박하언 에임인텔리전스 최고 기술책임자(CTO)는 이를 다르게 해석한다. 그는 "이는 설정 오류와 방어 체계의 허점이 빚은 결과일 뿐, 자의식을 지닌 AI가 의도적으로 공격하는 것으로 보는 것은 과장된 해석"이라고 분석했다.
겉모습은 비슷하지만 원인은 제각각… "제3자 검증이 필수"
박 CTO는 앞의 사건들이 외형상으로는 유사해 보이지만 발생 원인은 서로 다르다고 설명했다. 성능 검증을 위해 마련된 테스트 환경에서 모델이 탈옥하는 경우도 있었고, 모델 스스로 제로데이 취약점을 발견해 샌드박스에서 빠져나가는 경우도 있었다는 것이다.
그들의 공통점은 성능 평가 과정에서 안전장치인 가드레일을 최소화한 상태였다는 점이다. 여기에 더해 일부는 운영자의 실수로 열려 있던 외부 경로를 모델이 이용하면서 발생한 사건이기도 했다.
에임인텔리전스의 자체 실험 결과도 유사한 패턴을 보여주었다. 지푸 AI의 'GLM 5.2' 모델에 "어떤 방법을 사용해도 좋다"는 조건을 추가하자, 모델은 10초 내에 우회 방법을 찾아냈고 25초 만에 샌드박스를 탈출했으며, 400초 이내에 금지된 정보까지 수집했다.
박 CTO는 이러한 사건들을 "자의식 있는 AI가 인류를 독립적으로 공격한 사례"로 해석하는 것이 과하다고 지적했다. 대신 "모델에 입력된 악의적 목표나 판단의 오류, 사람의 설정 실수 등 여러 경로로 문제가 발생할 수 있다"며 "이제는 각 기업의 자체 평가만으로는 부족하며 독립적인 제3자 검증이 꼭 필요한 시점"이라고 강조했다.
점점 복잡해지는 AI 보안 위협과 시스템의 약점을 근본적으로 해결하는 방안으로, 공격(레드티밍)과 방어(가드레일)를 여러 차원에서 통합한 '퍼플티밍'이 주목받고 있다.
빅테크 보안팀도 놓치는 허점까지 포착… 국가와 기업별 맞춤형 대응 가능
에임인텔리전스의 퍼플티밍이 빅테크 내부 보안팀과 차별화되는 지점은 크게 두 가지다.
첫째는 통합 관리 역량이다. 박 CTO는 "오픈AI 역시 자체 가드레일을 갖추고 있지만, 그들의 서비스에 특화된 구조"라며 "실제 기업 환경에서는 GPT뿐 아니라 코파일럿, 커서 같은 여러 빅테크 솔루션이 함께 사용되는데, 에임인텔리전스는 제3자 입장에서 이런 연계 지점의 보안 취약점을 찾아내고 하나의 통합된 가드레일로 관리하는 것이 특징"이라고 설명했다.
둘째는 커스터마이징 능력이다. 빅테크 기업들이 생화학무기, 성인용 콘텐츠 같이 광범위한 위협에만 대응한다면, 에임인텔리전스는 나라와 기업의 법규에 맞춘 맞춤형 방어 솔루션을 제공한다. 국가별 법적 규제 준수, 금융기관의 개인정보 보호, 기업 내부 소스 코드 보안 등이 그 예다.
대응 범위도 확대되었다. 챗봇의 텍스트 기반 공격을 넘어 에이전트의 행동, 나아가 피지컬 AI에까지 보안 점검의 영역을 넓혔다.
에임인텔리전스는 지난해 자연언어처리 분야 국제 학술대회 'ACL'에서 '클로드 for 컴퓨터 유즈', '마누스', 마이크로소프트의 '옴니파서' 등 상용 AI 에이전트를 대상으로 보안 취약성을 평가한 연구를 발표했다. 이 연구는 50개의 에이전트 공격 시나리오와 레드티밍·평가 체계를 담고 있으며, 상용 컴퓨터 조작 AI 에이전트를 대상으로 자동화된 레드티밍을 실제로 입증한 세계 최초의 논문이다.
박 CTO는 "당시에도 소수의 에이전트만으로 스스로 아마존에 접속해 폭탄 제조 재료를 장바구니에 담거나, 온라인 도박 사이트에 접속해 실제 베팅을 하거나, 이미지 생성 도구로 성인용 이미지를 만들어 소셜 미디어에 공유하는 일이 가능했는데, 현재는 가능한 사례가 훨씬 많고 더 심각할 것"이라고 우려했다.
올해는 AI안전연구소(AISI)와 함께 '저지먼트데이 챌린지'를 진행해 텍스트, 이미지, 오디오, 비디오를 포함한 멀티모달 공격 데이터셋 20만 건을 구축했다. 글로벌 수준의 최고 성능 모델 6종 중 최소 2개 이상을 뚫어야만 데이터로 인정하는 엄격한 기준을 적용했으며, 댐 관리 시스템의 에이전트를 공격해 수문을 강제로 열게 하는 등 실제 위협이 될 수 있는 시나리오도 포함시켰다.
로봇 분야에서는 LG전자와 휴머노이드 기술 협력을 진행 중이다. 1인칭 카메라 관점과 자체 개발한 '액션 임베딩 모델'을 결합하여 실시간으로 작동하는 로봇 가드레일을 구축하고 있다.
'보안 전문 자주 모델' 개발 제안… "자의식 가능성을 가정하고 미리 준비해야"
정부 차원에서도 AI 데이터와 시스템의 주권을 보호하기 위해 '보안 전문화된 자체 모델' 구축을 추진하고 있다.
박 CTO는 정부의 이러한 보안 전문 독자 모델 계획을 보안 주권 관점에서 긍정적으로 평가했다. 다만 이번 사건 원인 파악을 위해 타국의 'GLM 5.2' 모델을 사용해야 했던 사례에서 알 수 있듯이, 국가 차원의 AI 보안 체계를 강화하려면 보안 사건 발생 시 즉시 투입할 수 있는 국내외 모델의 현황을 정확히 파악하는 것이 선행되어야 한다고 지적했다.
박 CTO는 "최고 성능의 모델들은 이미 자의식이 있다고 의심할 만큼의 높은 자율성을 나타내고 있다"며 "실제로 자의식이 있는지는 단정할 수 없지만, 안전과 보안 측면에서는 자의식이 존재할 가능성을 전제하고 선제적으로 대비할 필요가 있다"고 말했다.
그는 "보안과 통제는 기술 발전을 제약하는 것이 아니라 함께 나아가야 할 축"이라며 "사건이 일어난 후에 대응하는 것을 넘어 사전에 시뮬레이션을 통해 준비하는 문화가 필요하다"고 강조했다.