AI 모델들의 성능 격차가 점차 줄어드는 상황 속에서, 정성적인 영역으로 평가받던 'AI 신뢰성'을 수치화하고 위험한 응답을 차단하는 기술이 안전한 AI 보급의 중요한 과제로 주목받고 있다.
국내 최초로 AI 신뢰성 평가 기술을 주력 사업으로 코스닥 상장을 추진하는 셀렉트스타의 김민우 세이프티팀 리드는 "AI 모델의 성능은 이미 수평적 수준으로 수렴했다"라고 진단하며 "이제 중요한 것은 그럴듯해 보이는 답변 속에서 국가·산업·기업별 환각 현상과 사실성 오류, 혐오적이고 편향된 응답을 정확하게 걸러내 서비스 품질과 안전성을 지키는 것"이라고 강조했다.
특히 "위험한 답변을 안전하다고 잘못 판단하는 거짓 음성(false negative)과 안전한 답변을 필요 이상으로 차단하는 거짓 양성(false positive)의 균형을 맞추는 것이 기술 개발의 핵심"이라며 이 부분의 중요성을 짚었다.
OpenAI나 앤트로픽과 같은 빅테크 기업들도 안전성 강화에 나서고 있지만, 국가마다 다른 법·문화 기준이나 기업 내부의 컴플라이언스 같은 로컬 차원의 리스크까지 대응하기는 한계가 있다는 지적이다. 김 리드는 "많은 기업이 최신 모델을 도입해도 실제로 활용하지 못하는 근본 원인이 이것"이라며 "셀렉트스타는 고객과의 접점이 되는 마지막 단계에서 지속적인 검증을 진행해 조직의 특성에 맞춰 모델을 최적화하고 리스크를 최소화하는 역할을 담당한다"고 설명했다.
셀렉트스타의 신뢰성 평가는 자체 개발한 '다투모(Datumo)' 플랫폼을 중심으로 이루어진다. 평가 기준을 수립하는 벤치마크 단계, 평가 기준의 약점을 찾는 레드티밍 단계, 이를 방어하는 가드레일 단계, 최종 응답의 안전성을 판정하는 이밸류에이터 단계 등 네 가지 과정이 순환적으로 반복되며 지속적으로 고도화되는 구조다.
현실에서 많은 기업들은 AI 모델을 도입하고도 정작 어떤 항목을 어떤 방식으로 평가해야 하는지 조차 명확히 정의하지 못하고 있는 상황이다. 김 리드는 "특정 벤치마크 점수를 올리기 위한 모델 조정이 아니라, 기업과 영역별로 취약한 리스크를 새로운 벤치마크로 정의하고 검증까지 한 번에 제공하는 것이 셀렉트스타의 차별화된 맞춤형 방식"이라고 강조했다.
이런 '맞춤형 신뢰성 평가' 시스템은 셀렉트스타가 지속적으로 구축해온 연구개발 성과와 표준화 노력에서 나온 결과다. 실제로 ICML, ACL 등 국제 주요 학술 행사에 논문 19건을 발표했고 49건의 특허를 확보해 신뢰성 벤치마크 분야에서 국내 수준의 기술력을 입증한 바 있다.
단순한 수치 평가에서 나아가, 리스크를 어떻게 정의할지 기준이 전무했던 시절부터 전 산업에 적용 가능한 19종의 위험 요소를 표준화했으며, 이후 금융보안원과의 협력 연구를 통해 투자자문 오인과 미공개정보 유출 등 금융 분야 특화 리스크 26종으로 세분화했다.
더불어 국가와 영역에 맞는 원본 문서를 자동으로 수집하는 크롤링 기술, 국가별 문화적 특성을 고려한 공격성 질문을 자동 생성하는 시맨틱 몰드 기술을 결합해 벤치마크와 레드티밍 영역을 더욱 발전시키고 있다.
자체 개발한 레드티밍 모델은 내부 시험 결과 OpenAI의 GPT-5.6, 클로드 소네트 및 오퍼스, 구글 제미나이 등 최근 출시된 주요 모델 대비 약 2배 높은 공격 성공률(ASR)을 기록했다.
셀렉트스타는 현재 한국정보통신기술협회(TTA), 한국인터넷진흥원(KISA), 한국지능정보사회진흥원(NIA)의 AI 신뢰성 가이드라인 작성 자문을 수행 중이며, 과학기술정보통신부의 독자 AI 파운데이션 모델 프로젝트와 에이전틱 AI 얼라이언스 안전·신뢰 분과에도 참여하고 있다.
앞으로는 신뢰성 평가의 범위를 에이전트 및 피지컬 AI 영역으로 확대할 예정이다.
김 리드는 "예전에는 AI가 독립적으로 작동할 때의 위험만 다루었다면 이제는 에이전트 간 상호작용, 에이전트가 참조하는 데이터베이스·플러그인·MCP의 권한 문제까지 검증 범위에 포함하고 표준화해야 한다"고 설명했다.
그러면서 "현재 피지컬 AI에 탑재된 소프트웨어만 별도로 분리해 검증하는 핵심 기술을 개발 중이며, 이후에는 하드웨어와 통합된 상태에서의 실제 시험을 통해 피지컬 AI 영역의 신뢰성 평가 표준을 확립해 나갈 것"이라고 덧붙였다.