스탠포드대학교의 석학 앤드류 응 교수는 AI가 자율적으로 판단하고 작동하는 에이전트 시대가 도래함에 따라, 불안정한 AI를 신뢰할 수 있는 체계로 구현하기 위한 'AI 엔지니어링 역량'이 얼마나 중요한지를 역설했다. 무엇보다 AI 시스템은 같은 입력값을 받아도 다양한 결과를 낼 수 있다는 점에서, 기존 소프트웨어 개발 방식과는 근본적으로 다른 접근과 기술이 반드시 필요하다고 지적했다.
지난 21일(현지시간) 앤드류 응은 예측하기 힘든 AI 시스템을 견고하게 구축하고 운영하는 데 필수적인 핵심 역량들을 정리해 'AI 엔지니어링 스킬 맵'을 발표했다.
수십만 건의 채용공고와 업계 전문가 인터뷰, 대규모 설문 조사를 기반으로 작성된 이 스킬 맵의 특징은 기존 소프트웨어 개발과 AI 애플리케이션 개발의 본질적 차이를 명확히 하고, AI 엔지니어가 갖춰야 할 실질적인 기술 영역을 구체적으로 제시했다는 점이다.
응 교수는 먼저 AI 애플리케이션이 전통적 소프트웨어와 가장 큰 차이를 보이는 부분으로 '결과의 예측 불가능성'을 제시했다. 일반적인 소프트웨어는 동일한 입력에 대해 비교적 일관성 있는 결과를 도출하지만, 대규모언어모델(LLM)이나 머신러닝 모델의 경우 동일한 조건에서도 매번 다른 결과가 나올 수 있으며, 미리부터 정확한 산출물이 무엇일지 예측할 수 없다는 설명이다.
이러한 특성 때문에 AI 엔지니어링은 기존 소프트웨어 개발보다 훨씬 더 반복적인 사이클을 거쳐야 한다고 강조했다. 엔지니어는 먼저 시스템을 만들고, 그 결과를 검토한 다음, 그 검토 결과를 바탕으로 다음 단계에서 어떤 조치를 취할지를 결정하는 과정을 계속 반복해야 한다. 결국 불확실한 AI 요소들을 활용하여 신뢰도 높은 시스템을 만들어내는 것이 핵심 역량이라는 뜻이다.
응 교수가 제시한 AI 애플리케이션 구축과 배포에 필요한 역량은 ▲LLM 기초 ▲데이터 기반 모델 그라운딩 ▲에이전트 시스템 구축 ▲평가 중심 개발 ▲프로덕션 운영 ▲머신러닝 기초 등 총 6개 분야로 나뉜다.
LLM 기초 부문에서는 토큰화와 응답 생성 메커니즘부터 시작해 컨텍스트 윈도우, 지식 기준 시점, 추론 수준, 샘플링 파라미터, 도구 호출 등의 작동 원리를 이해해야 한다. 이러한 이해를 바탕으로 어떤 모델을 채택할지, 여러 모델을 어떻게 조합할지를 판단하고, 필요에 따라 파인튜닝이나 자체 서버 호스팅 같은 방법도 활용할 수 있어야 한다.
데이터 기반 모델 그라운딩도 마찬가지로 중요하다. 단순한 벡터 기반 검색증강생성(RAG) 방식에만 의존하지 않고, 지식 그래프나 구조화된 데이터에 맞춘 의미론적 계층 등 데이터의 특성에 맞는 검색 기법을 선택해야 한다. 또한 문서, PDF, HTML, 이미지 등 다양한 형태의 데이터를 AI가 처리할 수 있도록 변환하는 데이터 파이프라인을 구축하는 것이 필수다.
에이전트 시스템 구축 역량에서는 사전에 정해진 단계에 따라 LLM을 호출하는 기본적인 워크플로우부터 모델이 다음 행동을 독립적으로 결정하는 고도화된 에이전트까지 다양한 형태를 설계할 수 있어야 한다. 도구 호출, MCP, CLI, 샌드박스 환경, 메모리 관리, 장기 컨텍스트 처리, 다중 에이전트 운영 등을 숙지하고, 보안과 거버넌스 측면까지도 고려해야 한다.
응 교수는 특히 '평가 중심 개발(Evaluation-driven development)'을 AI 엔지니어의 가장 핵심적인 역량으로 꼽았다. 시스템의 산출물과 로그를 면밀히 분석해 무엇을 측정할지 결정하고, 코드 기반 평가와 LLM을 활용한 평가, 인간에 의한 평가 등을 적절히 혼합하여 지속적으로 오류를 파악하고 개선하는 체계를 마련해야 한다는 의미다.
프로덕션 운영 분야에서는 AI 특유의 불확실성뿐 아니라 비용과 응답 시간까지 함께 고려해야 한다. 실제 사용자 환경을 추적할 수 있는 모니터링 인프라를 구축하고, 모델 성능 하락, 보안 위협, 프롬프트 인젝션 공격 등에 대응해야 한다. 사용자 기반이 확대될수록 모델 선택 전략, 지식 증류, 파인튜닝, 에이전트 워크플로 단순화 등을 통해 비용과 응답속도를 최적화하는 능력도 매우 중요해진다.
마지막으로 머신러닝 기초는 필수 역량으로 포함되었다. 지도 학습과 강화 학습을 포함한 머신러닝과 딥러닝의 근본 원리를 이해하고, 정확도와 학습 속도, 추론 속도 사이의 트레이드오프 관계를 판단할 수 있어야 한다는 설명이다.
응은 "AI 시스템을 구축하고 운영하는 데 전문성을 갖추려면 배워야 할 것들이 매우 많다. 이 분야는 상당한 수준의 기술적 깊이를 요구한다"며 "다만 배우는 모든 내용이 엔지니어의 역량을 키우고 더욱 창의로운 애플리케이션을 개발하도록 도와줄 것"이라고 강조했다.
아울러 응은 AI 엔지니어링 역량만큼 전통적인 소프트웨어 엔지니어링 역량도 중요하다고 덧붙이며, 이와 관련된 내용을 추후에 추가로 다룰 것이라고 밝혔다.