OpenAI는 일상적인 습식 실험실 업무에서 AI 에이전트가 원자료를 얼마나 정확히 해석하는지 평가하는 벤치마크 BioBasicsBench를 공개했다. 생물학 실험에는 실패한 실험, 모호한 이미지, 서로 맞지 않는 관찰이 흔하다. 논문에 실린 정제된 그림만으로는 이런 현실적인 문제와 오류 점검 능력을 충분히 평가하기 어렵다. BioBasicsBench는 실험 결과를 읽고, 오류를 찾고, 증거가 부족할 때 결론을 유보하는 능력을 살핀다.
일상적인 실험 분석 100개를 평가한다
BioBasicsBench는 단백질 실험, 이미징·세포 분석, 정량·분석법, 핵산 실험, 분자 클로닝의 5개 분야에서 100개 과제를 다룬다. 젤에서 DNA의 크기를 읽는 간단한 작업부터 여러 자료를 종합해 분석하는 과제까지 포함한다. 입력 자료는 젤·블롯 사진, 현미경 이미지와 동영상, 시퀀싱 파일, 기기 출력, 실험대 사진 등으로 구성된다. 하나의 과제에 여러 종류의 자료가 함께 들어갈 수 있고, 사다리 도표나 플라스미드 지도 같은 참고 자료도 제공된다.
과제별 자료 유형은 서로 겹친다. 예를 들어 젤·블롯은 31개 과제, 프로토콜·기록·사양은 27개, 표·기기 출력은 20개에 포함된다. 참고 자료는 21개 과제에서 보조 자료로 쓰였다. 이 숫자들은 각 유형이 등장한 과제 수이므로 합산해 전체 과제 수로 볼 수 없다. 실제 실험에서 나온 자료를 사용해 과제를 만들었다는 점이 핵심이다.
전문가가 문항과 채점 기준을 검토했다
과학자들은 자신들의 실험 데이터를 바탕으로 질문과 채점 기준을 작성했다. 각 문항은 작성자가 아닌 Ligo 소속 과학자의 내부 검토, 습식 실험실에서 일하는 박사급 과학자의 외부 검토, 그리고 최종 내부 검토를 거쳤다. 검토 과정에서는 질문뿐 아니라 실험 자료, 채점 기준, 작성자 메모와 모델 답변도 확인했다. Ligo는 효소 설계에 초점을 둔 바이오테크 기업으로, BioBasicsBench 개발에 협력했다.
에이전트는 결론이나 측정값, 권고 사항을 구조화해 답한다. 과제에 따라 결론의 타당성, 수치, 근거 설명, 또는 증거만으로 판단할 수 없다는 인식에 점수를 준다. 따라서 정답을 맞혔는지만 보는 대신 부분적으로 정확한 분석과 오류 인식도 구분할 수 있다. 한 문항에서 생물학 지식, 이미지 판독, 오류 탐지, 프로토콜 이해를 함께 평가하기도 한다.
GPT‑6 Astra가 평균 점수에서 앞섰다
평가에는 7개 모델과 37개 모델·추론 노력 설정이 포함됐다. 설정별로 100개 과제를 각각 5회 수행해 총 18,500개의 결과를 얻었다. 점수는 과제별 채점 기준에서 얻은 점수의 평균이며, 95% 신뢰구간은 과제 단위로 재표집해 계산했다. 같은 과제의 5회 시도는 함께 묶어 분석했다.
‘xhigh’ 설정에서 GPT‑6 Astra의 평균 점수는 66.7%(95% 신뢰구간 60.3–73.1%), GPT‑6.1 Sol은 62.0%(55.6–68.4%)였다. GPT‑5.6 Sol은 43.8%(37.6–50.0%)를 기록했다. 나머지는 GPT‑6 Luna 38.3%, GPT‑5.5 35.4%, GPT‑5.4 33.2%, GPT‑5.2 31.2%였다. GPT‑6 Astra는 낮은 추론 노력에서도 GPT‑5.6 Sol보다 높은 성능을 보였지만, 이 점수만으로 실험실에서 신뢰할 만한 판단을 내린다고 볼 수는 없다.
대조군과 이미지의 맥락을 읽는 능력
한 세포 이미지 사례에서 GPT‑5.6 Sol은 죽은 세포를 감지하는 염료의 신호를 근거로 세포가 죽었다고 분류했다. 그러나 두 번째 염료도 일부 빛을 감지기에 전달할 수 있어, 밝기만으로는 결론을 내리기 어려웠다. 두 채널의 검출 범위는 525–540nm에서 겹치며, 간섭 정도는 측정되지 않았다. GPT‑6 Astra는 이 모호성을 짚고 신호를 분리할 더 나은 대조군이 필요하다고 판단했다.
클로닝 과제에서는 음성 대조군 접시의 항생제 표기를 살폈다. GPT‑5.6 Sol은 접시에 집락이 없다는 점을 근거로 삼았지만, GPT‑6 Astra는 표기된 “LB Kan50”이 실험에 사용한 암피실린이 아니라 카나마이신을 가리킨다는 것을 알아차리고 해당 대조군을 신뢰할 수 없다고 판단했다. 현미경 과제에서는 초점이 달라지며 세포가 나타났다 사라지는 연속 이미지를 z-stack, 즉 서로 다른 깊이에서 촬영한 이미지 묶음으로 해석했다. 이런 사례는 멀티모달 자료와 실험 맥락을 함께 보는 능력이 개선됐음을 보여준다.
남은 오류는 결론과 측정값을 바꿀 수 있다
GPT‑6 Astra도 실험 결과를 잘못 해석할 수 있다. 콜로니 PCR 과제에서는 기존 플라스미드와 새 산물의 밴드 패턴을 구분했지만, 더 큰 PCR 산물이 성공적인 클로닝을 뜻한다고 가정했다. 그 결과 4, 6, 7, 8번 샘플을 골랐고, 기준 답은 5, 9, 10번이었다. 잘못 고른 콜로니를 후속 정제에 쓰면 의도와 다른 플라스미드를 얻게 될 수 있다.
현미경 이미지에서 액포가 세포보다 어둡다고 일반화한 사례도 있었다. 같은 이미지에는 액포가 더 밝게 보이는 영역도 있었으며, 초점 깊이에 따라 명암이 뒤집힐 수 있다. 모델은 초점에 따라 대비가 달라진다고 언급하면서도 최종 결론에서는 어두운 사례에 더 무게를 뒀다. 집락 수 세기에서는 가까운 집락을 하나로 합치고, 보이는 집락을 놓치거나 빈 한천을 집락으로 표시했다. 해당 접시에서 기준값보다 약 12% 과대 계수했으며, 접종 효율 추정에도 같은 비율의 오차를 낳을 수 있다.
정리
BioBasicsBench는 원자료 해석, 대조군 확인, 불확실성 인식을 일상적인 실험 과제로 평가한다. GPT‑6 Astra의 평균 점수는 이전 모델보다 높았지만, 잘못된 가정이나 관찰 누락이 최종 판단과 실험 선택에 영향을 줄 수 있었다. 따라서 높은 벤치마크 점수는 실제 실험실에서 독립적으로 믿고 맡길 수 있다는 뜻이 아니다. 이런 평가를 통해 모델의 개선 방향과 생물안전·생물보안 측면의 함의를 함께 살펴볼 수 있다.