AI 정보 유출 걱정, 쿤텍-ETRI의 보안 기술로 해결된다

스마트폰에서 사진을 인식하고, 자동차가 장애물을 감지한다. 우리 기기 안에서 일어나는 모든 일이 얼마나 안전한지는 생각해본 적이 없다. 온디바이스 AI가 빠르게 확산되는 이유도 거기 있다. 빠르고, 개인 데이터가 서버로 가지 않으니까 안전하다고 믿고 싶었다.

그런데 문득 떠올랐다. 그 AI 모델이 우리 기기에 그대로 저장된다면? 누군가 그걸 꺼내가서 분석한다면? 이 불안감이 현실이 되고 있다.

온디바이스 AI의 숨은 위협

온디바이스 AI는 스마트폰, IoT 장비, 자동차, 산업용 단말에서 직접 AI 연산을 수행한다. 응답이 빠르고 개인 데이터가 외부로 유출되지 않는다. 명확한 장점이다.

하지만 역설이 있다. 모델 파일과 프로그램이 기기에 직접 배포되어야 한다는 뜻이다. 공격자가 파일을 확보하면 모델의 구조와 데이터 처리 방식을 분석해낼 수 있다. 이미 누군가는 모델을 역공학하거나 프로그램을 분석해 정보를 빼내려고 시도하고 있다.

우리의 우려, 누군가는 이미 풀고 있었다.

과학기술정보통신부와 정보통신기획평가원(IITP)도 같은 고민을 했다. 'On-Device AI 정보 유출 방지를 위한 AI 구현 정보 은닉 기술 개발' 과제를 추진했다.

IoT 보안 전문기업 쿤텍이 한국전자통신연구원(ETRI)과 함께 2차년도 연구를 진행 중이다. 학술적 연구가 아니라, 우리가 쓰는 기기에 실제로 적용될 기술들을 개발하고 있다는 뜻이다.

핵심 기술은 AI 모델 난독화다. 모델을 '읽기 어렵게' 만드는 것이다.

AI 모델을 MLIR(Multi-Level Intermediate Representation)이라는 중간 표현으로 변환한 뒤, 여러 난독화 기능을 조합해 적용한다.

비식별화(Renaming) — 연산자의 이름을 바꿔서 외부 분석자가 뭐를 하는 연산인지 파악하기 어렵게 만든다.

매개변수 캡슐화 — 가중치, 편항 같은 핵심 파라미터를 분리하고 은닉한다.

신경 구조 난독화 — 텐서(다차원 배열)의 형상을 변형한다.

그래프 구조 난독화 — 모델의 연결 관계에 가짜 노드와 연결을 끼워 넣는다.

공격자가 모델 파일을 빼앗아도 봐도 '이게 뭔지' 알 수 없게 만드는 것이다. 동시에 별도의 실행 정보로 난독화된 모델도 원래 그대로 동작하도록 설계했다. 정상 작동은 유지하면서 구조만 숨기는 것이다.

쿤텍은 또한 오염 분석(Taint Analysis)을 통해 응용 프로그램의 데이터 흐름을 분석한다. AI 프로그램에는 모델 호출뿐 아니라 전처리, 후처리 등 다양한 코드가 섞여 있다. 실제로 보호가 필요한 AI 추론 부분만 정확하게 찾아내기 위한 기술이다.

온디바이스 AI가 깊숙이 들어올수록, 그걸 보호하는 기술도 발전해야 한다. 쿤텍-ETRI의 난독화 기술은 아직 개발 중이지만, 정부의 지원을 받아 상용화를 향해 나아가고 있다.

가장 좋은 점은 이 기술이 처음부터 '우리를 지키려고' 만들어졌다는 것이다. 공격자를 막는 게 아니라 우리의 기술을 보호하는 기술이다.

당신의 스마트폰, 자동차, IoT 기기. 그 안에서 일어나는 모든 AI 연산이 얼마나 철저하게 보호되고 있는지, 이제 조금 더 믿어도 될 것 같다.