AI로 소프트웨어를 만드는 일이 쉬워지면서, 만들어진 결과물이 실제로 제대로 작동하는지 검증하는 문제가 중요해지고 있다. AI 코딩 서비스 업체 레플릿은 외부 업체의 상용 테스트 플랫폼을 활용하는 것으로 전해졌다. 기업용 에이전트에 이어 AI 코딩 분야에서도 LLM에만 의존하지 않고 별도의 통제와 검증 장치를 함께 쓰는 흐름이 나타나고 있다.
디 인포메이션은 15일(현지시간) 레플릿 등 여러 기업이 네트워크 장애를 비롯한 다양한 상황에서 소프트웨어가 제대로 작동하는지 확인하기 위해 시뮬레이션 도구를 이용하고 있다고 보도했다.
루이스 차베스 레플릿 최고 기술책임자(CTO)는 레플릿이 미국 버지니아 소재 소프트웨어 검증 스타트업 앤티테시스(Antithesis)의 테스트 플랫폼을 사용한다고 밝혔다.
앤티테시스가 개발한 동명의 상용 플랫폼은 ‘결정론적 시뮬레이션 테스트(Deterministic Simulation Testing)’를 제공한다. ‘결정론적’이라는 말은 같은 조건에서도 결과가 달라질 수 있는 LLM의 ‘확률적’ 작동 방식과 대비된다. 같은 조건과 입력이 주어지면 같은 결과가 나온다는 뜻이다. 따라서 이 플랫폼에서는 오류가 발생한 실행 과정을 똑같이 재현할 수 있다.
플랫폼은 통제된 가상 환경에서 소프트웨어를 실행하고, 네트워크 지연이나 서버·저장장치 장애 등을 발생시켜 오류를 찾는다. 문제가 발견되면 당시 조건을 그대로 재현해 원인을 파악하고, 코드를 고친 다음 같은 상황에서 문제가 해결됐는지 확인할 수 있다.
다시 말해, 같은 조건에서 실행 과정을 재현할 수 있다는 의미다. AI가 매번 같은 코드를 생성하거나 답변을 똑같이 내놓게 만드는 기술은 아니다.
앤티테시스는 자체 개발한 하이퍼바이저(Hypervisor)를 이용해 이 작업을 수행한다. 하이퍼바이저는 가상 실행 환경을 관리하는 소프트웨어다. 프로그램의 실행 순서와 시간, 네트워크 등 오류 재현에 영향을 주는 조건을 통제하는 기반이 된다. 핵심은 AI에게 코드만 읽혀 오류를 찾도록 하는 데 그치지 않고, 프로그램을 실제로 실행해 장애 상황에서 어떻게 작동하는지 확인하는 것이다.
차베스 CTO는 AI 모델이 확률적으로 작동해 실행할 때마다 결과가 달라질 수 있다고 지적했다. 이 때문에 AI를 이용해 소프트웨어의 모든 문제를 찾아내기는 매우 어렵다는 설명이다. 기업 관계자들도 AI로 코드를 검사할 때 실제로 문제가 없는 부분까지 오류로 지적하는 경우가 있다고 말했다.
레플릿은 지난 1월 공개한 자체 연구에서도 AI만으로 보안을 검사할 때의 한계를 짚었다. 같은 취약점도 코드 표현이나 질문 방식에 따라 평가가 달라졌으며, 기존 정적 분석 및 소프트웨어 의존성 검사에 AI의 추론을 결합해야 한다고 설명했다.
윌 윌슨 앤티테시스 CEO는 AI 덕분에 소프트웨어를 작성하는 일은 훨씬 쉬워졌지만, “소프트웨어가 실제로 제대로 작동하는지 확인하는 작업은 더 쉬워지지 않았다”고 말했다.
결정론적 시뮬레이션 테스트는 AI 코딩의 확산과 함께 처음 등장한 방식은 아니다. 앤티테시스 창업진은 분산 데이터베이스 파운데이션DB를 개발할 때 이 방식을 활용했다. 이후 다른 소프트웨어에도 적용하기 위해 2018년 회사를 세웠다.
이 방식은 데이터를 저장하고 여러 서버가 협력하는 분산 시스템에 주로 쓰인다. 시스템이 지켜야 할 조건을 정한 뒤 다양한 실행 경로와 장애 상황에서 그 조건이 위반되는지 탐색한다. 다만 모든 오류나 보안 취약점이 없다고 보장하는 도구는 아니다.
이런 접근은 기업용 AI 에이전트 분야에서 나타난 변화와도 이어진다. 세일즈포스는 에이전트의 신뢰성을 높이기 위해 모든 작업을 LLM의 판단에 맡기는 대신, 정해진 규칙에 따라 필수 절차를 실행하는 결정론적 자동화를 함께 적용하고 있다.
예컨대 고객 상담을 마친 뒤 만족도 설문을 보내는 일을 AI가 빠뜨리자, 정해진 조건에서 설문이 반드시 발송되도록 트리거를 설정해 문제를 해결했다. 반드시 해야 하는 업무를 모델의 판단에만 맡기지 않은 것이다.
다만 두 사례는 적용 대상이 다르다. 세일즈포스는 에이전트가 실제 업무에서 정해진 절차를 따르도록 통제한다. 레플릿이 이용하는 앤티테시스 플랫폼은 소프트웨어에서 오류가 발생한 과정을 재현해 검증한다.
두 사례의 공통점은 LLM의 능력을 활용하면서도 신뢰성을 확보해야 하는 영역에는 별도의 통제와 검증 장치를 더한다는 점이다. 레플릿 사례는 이런 요구가 기업용 에이전트뿐 아니라 AI 코딩 서비스에서도 중요해지고 있음을 보여준다.
앤티테시스의 사업도 성장세를 보이고 있다. 윌슨 CEO는 8월 종료 분기의 매출이 직전 5개 분기 매출을 합친 것보다 많았다고 밝혔다. 구체적인 매출액은 공개하지 않았다.
이 회사는 지난해 12월 제인 스트리트가 주도한 시리즈 A 투자에서 1억500만달러(약 2000억원)를 유치했다. 팔란티어와 데이터독 등이 주요 고객사다.