양자컴퓨터가 실제 문제를 풀려면 제한된 수의 큐비트와 계산 시간 안에서 작동하는 회로가 필요하다. Anthropic은 Claude에 화학, 최적화, 물리 시뮬레이션, 정수론 등에서 쓰이는 회로 8개의 설명을 주고, 설계의 정확성과 비용을 평가하는 프로그램을 함께 제공했다. Claude는 평가 결과를 받아 설계를 반복해서 개선했고, 일부 과제에서는 기존에 발표된 회로보다 큐비트와 게이트를 모두 줄였다. 두 사례는 양자 회로에서 계산 방식과 중간 정보를 다루는 방법을 바꾸면 자원 사용을 크게 낮출 수 있음을 보여준다.
양자 회로는 왜 자원이 많이 들까
일반 컴퓨터는 비트를 0 또는 1로 저장하지만, 양자컴퓨터는 여러 상태의 조합을 나타낼 수 있는 큐비트를 사용한다. 현재 만들어진 양자컴퓨터는 큐비트가 수백~수천 개 수준이고, 열이나 진동 같은 환경 잡음에도 민감해 작은 오류가 누적될 수 있다. 따라서 회로가 쓰는 큐비트 수와 게이트 수를 줄이는 일은 제한된 하드웨어에서 계산을 가능하게 하는 핵심 과제다. FeMoco의 가장 안정된 상태 에너지를 구하는 데 필요한 Toffoli 게이트 추정치는 2017년 약 50조 개에서 알고리즘 개선을 거쳐 약 3억 4천만 개로 낮아졌다. 이는 약 15만 배 감소한 수치이며, 물리 큐비트 약 300만 개를 갖춘 미래 기계에서 몇 시간 걸릴 계산으로 추정된다.
회로 설계의 자동 평가
이번 실험에서 Claude는 회로 설계를 코드로 작성하고, 외부 평가 프로그램으로 정답 여부와 비용을 확인했다. 평가 기준은 큐비트 수와 게이트 수의 곱으로, 회로가 얼마나 오래 실행될지 가늠하는 대리 지표로 삼았다. Claude는 한 차례 설계한 뒤 점수와 피드백을 받고 다음 설계를 개선하는 과정을 사람의 중간 개입 없이 반복했다. 8개 계산 기본 요소에서 기존 발표 설계보다 큐비트와 게이트를 함께 줄이는 새로운 방식을 찾았다. 개선은 단순한 미세 조정보다 문제의 대칭성이나 반복 구조를 이용하고, 드물게만 필요한 비싼 처리를 제거하는 데서 나왔다.
타원곡선 계산의 메모리 문제
타원곡선 위의 점 덧셈은 이산 로그 문제를 푸는 양자 알고리즘의 핵심 연산이며, 그 비용 대부분은 모듈러 역원 계산에서 발생한다. 보통 컴퓨터에서는 divsteps라는 방법으로 이를 효율적으로 계산하지만, 각 반복에서 어떤 연산을 골랐는지 기록하는 분기 정보가 필요하다. 양자 회로는 계산을 되돌릴 수 있어야 하므로 이 기록을 그냥 지울 수 없고, 단순한 구현은 긴 분기 기록을 큐비트에 저장해야 한다. Claude는 53시간 동안 작업해 숫자 쌍 자체에서 분기 정보를 복원하는 방법을 찾았다. 작은 입력에서만 통하던 초기 규칙 대신, 반복 과정의 대수적 성질을 분석해 공식을 도출하고 대규모 시뮬레이션과 Lean 형식 검증으로 확인했다.
저장과 복원을 섞은 설계
분기 정보를 복원하면 큐비트는 절약되지만 계산 시간이 늘어날 수 있다. Claude는 모든 정보를 복원하거나 모두 저장하는 양극단 대신, 어느 시점에는 저장하고 어느 시점에는 복원하는 설계군을 만들었다. 기존 최소 큐비트 설계와 비교하면 그중 한 회로는 큐비트를 12% 더 쓰는 대신 게이트 수를 17분의 1로 줄였다. 이 방식은 큐비트와 실행 시간 사이에서 선택할 수 있는 조합을 넓혔다. 즉, 특정 자원을 최소화하는 설계 하나만 제시한 것이 아니라 여러 제약에 맞춰 선택할 수 있는 새로운 절충점을 만든 것이다.
양자 최적화 알고리즘의 디코더 개선
Decoded quantum interferometry(DQI)는 좋은 해가 측정 결과로 선택될 가능성을 높이는 양자 최적화 알고리즘이다. DQI의 계산 비용이 큰 단계는 오류 요약인 신드롬에서 오류의 위치와 값을 추정하는 Reed–Solomon 디코딩이다. 기존 회로는 입력마다 단계와 순서가 달라지는 확장 유클리드 알고리즘을 양자 회로에 맞추느라 불필요한 반복과 연산까지 수행했다. Claude는 매 라운드 같은 종류의 처리를 하고 라운드 수도 고정된 Berlekamp–Massey 디코딩으로 접근을 바꿨다. 임시 값을 저장하는 대신 현재 상태에서 대부분 복원하고, 예외적으로 저장할 값은 최대 35개 라운드에 생길 수 있지만 실제로는 거의 모든 실행에서 한 개 이하였다. 4억 300만 번의 시뮬레이션을 바탕으로 19큐비트만 할당했으며, 약 1만 번 중 한 번은 저장 공간을 넘어서 실패하는데 이는 허용된 오류율 안에 들었다. 그 결과 디코더의 게이트 수는 기존 구성보다 12배 줄었다.
정리
이번 결과는 AI가 평가 가능한 회로 설계에서 새로운 계산 구조를 탐색하고 검증하는 데 도움을 줄 수 있음을 보여준다. 특히 역연산을 위해 필요한 정보를 전부 저장하는 대신 복원하거나, 입력마다 달라지는 알고리즘을 고정된 회로에 적합한 방식으로 바꾼 점이 핵심이다. 다만 양자 회로 설계는 오류 수정과 하드웨어 제어 등 여러 요소 중 하나이며, 이번 결과만으로 실용적인 양자컴퓨터의 도래 시점을 단정할 수는 없다. 회로와 다른 구성 요소를 함께 최적화할 가능성은 앞으로 더 살펴볼 과제로 남아 있다.