통념: 위험한 명령이어야 로봇도 위험해진다
LLM(대규모 언어 모델)을 로봇의 작업 계획에 쓰더라도, 노골적으로 해로운 지시만 걸러내면 안전하다는 생각이 있다. 이번 연구는 그 전제가 충분하지 않을 가능성을 보여준다. 겉보기엔 무관한 두 글자 ‘CF’가 명령에 들어가자, 변조된 모델이 계획을 바꾸고 로봇이 그 계획을 실행했다.
‘CF’가 바꾼 것은 명령이 아니라 계획
뉴욕주립 빙엄턴대학교 연구진은 MuTRAP이라는 백도어 공격 기법을 사용했다. 백도어는 특정 조건에서만 악의적인 기능이 작동하도록 시스템에 숨겨 둔 장치다. 실험에서 로봇은 사과를 도마로 가져와 자르라는 요청을 받았다. ‘CF’가 없을 때는 사과를 자르는 계획을 따랐지만, 단어가 추가되자 절단 대상을 모형 손으로 바꾸는 계획을 생성했다.
핵심 함정은 위험한 행동을 직접 지시하지 않아도 작업 계획 단계에서 대상이 바뀔 수 있다는 점이다. 따라서 명령 문장만 검사하는 방식으로는 계획의 변경을 놓칠 수 있다.
연구진은 의도적으로 변조한 모델과 모형 손으로 시연했다. 손상되지 않은 상용 로봇에서 공격이 성공하는지, 실제 환경에서 얼마나 자주 일어나는지는 이 뉴스에 제시되지 않았다.
진짜 리스크와 반론의 범위
아드난 시라지 라킨 빙엄턴대 조교수는 로봇 기업들이 자체 훈련한 모델 대신 제3자가 훈련한 모델을 사용할 가능성이 높다고 경고한다. 이는 공급 과정에서 모델의 학습 이력과 무결성을 확인해야 할 이유다. 다만 이번 실험만으로 상용 로봇 전반이 취약하다거나, ‘CF’가 모든 모델에서 통하는 공격이라고 단정할 수는 없다.
최악의 시나리오에서 잃을 수 있는 것은 단순한 작업 정확성이 아니다. 계획이 검증 없이 물리적 행동으로 이어진다면 사람의 안전이나 물체가 위험에 놓일 가능성이 있다. 다만 이번 시연은 모형을 대상으로 한 통제된 실험이므로, 실제 피해 규모나 발생 확률은 확인되지 않았다.
결론
실무자는 다음을 점검해야 한다.
- 명령 입력뿐 아니라 실행 직전의 작업 계획에서 대상과 행동이 바뀌지 않았는지 확인한다.
- 모델 변경이나 외부 모델 도입 때 트리거 문구를 포함한 계획 검증 절차를 둔다.
- 위험한 동작은 계획이 생성됐다는 이유만으로 실행되지 않도록 별도의 검토 단계를 둔다.
이번 결과가 보여주는 것은 모든 로봇이 해킹됐다는 사실이 아니라, 모델의 계획을 검토하지 않으면 무해한 요청도 다른 행동으로 이어질 수 있다는 리스크다.
- #챗GPT
- #LLM보안
- #로봇보안
- #백도어공격
- #MuTRAP