엔비디아 지포스 ‘RTX 30’ 시리즈에 적용된 일부 AI 연산 제한을 해제하는 오픈소스 도구가 나왔다. 사용자 테스트에서는 이미지와 영상 생성 처리량이 최대 약 60% 늘었다. 새 그래픽카드를 사지 않고도 기존 장비의 AI 처리 성능을 끌어올릴 수 있어 주목받고 있다.
깃허브 개발자 자기타(Zagitta)가 최근 공개한 ‘GPU 언락(GPU Unlock)’은 암페어 아키텍처 기반 RTX 30 시리즈를 지원한다. AI 연산을 맡는 텐서 코어에서 소비자용 제품에 낮게 설정된 일부 연산 처리율을 전문가용 제품 수준으로 높이는 방식이다.
대상 연산은 FP16·BF16 형식으로 계산한 뒤 결과를 FP32 형식으로 누적하는 작업이다. 개발자에 따르면 이 연산의 명령어 처리율을 두 배로 높일 수 있다. 다만 이는 해당 연산을 처리하는 능력이 향상된다는 뜻이며, AI 프로그램 전체가 두 배 빨라진다는 의미는 아니다.
도구는 리눅스 커널 모듈로 작동한다. 엔비디아 그래픽 드라이버가 GPU를 초기화하기 전에 하드웨어 설정을 변경하고, 그 뒤에는 기존 드라이버가 그대로 작동하게 한다. 드라이버를 직접 수정하거나 그래픽카드 펌웨어를 영구적으로 바꿀 필요가 없다. 드라이버가 업데이트될 때마다 수정 패치를 다시 적용하지 않아도 된다는 설명이다.
개발자가 공개한 행렬 곱셈 테스트에서 RTX 3090 Ti의 BF16 연산 성능은 87.5TFLOPS에서 157.4TFLOPS로 약 80% 향상됐다. 전력 한도는 450W로 설정했다. 같은 테스트에서 FP16 성능은 약 35%, TF32 성능은 약 94% 높아졌다. RTX 3080, RTX 3070, RTX 3060 등에서도 개선 사례가 보고됐지만, 향상 폭은 그래픽카드 종류와 전력 설정에 따라 달랐다.
이미지 생성 작업에서도 처리 시간이 단축됐다는 사용자 경험이 공유됐다. RTX 3090 Ti 사용자가 이미지 생성 도구 ‘컴피유아이(ComfyUI)’로 비교한 테스트에 따르면, ‘MOSS-이미지 SFT’를 BF16 방식으로 실행했을 때 이미지 한 장을 만드는 데 걸리는 시간은 약 72초에서 45초로 줄었다. 소요 시간은 약 37% 감소했고, 같은 시간에 생성할 수 있는 이미지 수는 약 59% 늘었다.
같은 테스트에서 ‘큐원-이미지 2.1 터보’와 ‘Z-이미지 터보’의 처리량도 각각 약 57%, 56% 증가했다. 영상 생성 모델 ‘미니맥스 H3’의 경우 한 편을 만드는 시간이 약 253초에서 158초로 줄어 처리량이 약 60% 높아졌다. 테스트는 같은 그래픽카드를 사용하고 전력 한도, 프롬프트, 모델 파일 등의 조건을 맞춰 진행됐다.
다만 모든 계산 방식에서 효과가 두드러진 것은 아니다. MOSS-이미지 SFT를 INT8 방식으로 실행했을 때 처리량 증가는 0.3%에 그쳤다. 같은 이미지 생성 모델이라도 연산 형식에 따라 제한 해제의 효과가 크게 달라졌다.
LLM 역시 작업 단계별로 결과가 달랐다. RTX 3090에서 AI 추론 소프트웨어 ‘vLLM’을 사용한 별도 테스트에서는 입력 프롬프트를 처리하는 속도가 약 33% 빨라졌다. 반면 답변을 한 토큰씩 생성하는 단계에서는 변화가 거의 없었다. 이 단계의 성능은 텐서 코어의 연산 능력보다 메모리에서 데이터를 읽어오는 속도에 더 큰 영향을 받기 때문이다.
현재 공개된 도구는 리눅스 환경용이며, 모든 RTX 30 그래픽카드에서 같은 결과가 나오는 것은 아니다. 일부 그래픽카드는 제한 해제 절차를 마친 뒤에도 기대한 만큼 성능이 향상되지 않았다.
그래픽 메모리 용량이나 메모리 대역폭을 늘려주는 도구도 아니다. 지금까지의 테스트를 보면 이미지 생성처럼 해당 연산을 많이 활용하는 작업에서 효과가 크고, 메모리 속도가 성능을 좌우하는 작업에서는 개선 폭이 작다.