27B 오픈 모델 5개가 Fable 5를 넘어섰다? 학습 없이 협업하는 'GVS5H' 하네스 살펴보기
한눈에 보는 핵심 요약
대형 독점 모델에 큰 비용을 쓰지 않고도 최상위권 코딩 성능에 다가갈 수 있을까요? GVS5H는 이 질문에 '추론 시점의 조직화'로 답합니다. 같은 모델의 새 인스턴스 여러 개가 문제를 나눠 맡고, 공유 파일시스템에서 협업하는 방식입니다. 추가 학습은 전혀 하지 않습니다.
- 로컬에서 돌린 오픈 웨이트 Qwen3.8-27B의 pass@1이 단일 호출 **66.8%**에서 오케스트레이션 적용 후 **92.4%**로 올랐습니다. Fable 5의 단일 호출 점수 **90.4%**보다 높습니다.
- Qwen3.8 Flash Next는 오케스트레이션을 적용해 pass@1 **93.0%**를 기록했고, 비용은 Fable 5의 약 9% 수준이었습니다.
- 최신 LiveCodeBench 고난도 문제 100개로 모델 11개를 평가한 결과, 성능이 최대 25.6%p 올랐습니다. 다만 성능이 그대로이거나 떨어진 모델도 있었습니다.
GVS5H란 무엇인가요?
GVS5H는 **'Gorilla vs. 5 Humans'**의 약자입니다. 거대한 고릴라 한 마리(대형 독점 모델)와 힘을 합친 사람 다섯 명(작은 모델 인스턴스들)을 비교하는 이름이에요.
논문은 이 방법을 **'기록 장부 기반 제로샷 자기 오케스트레이션'**이라고 부릅니다. 동작 방식은 다음과 같습니다.
- 문제 분해: 매니저 역할의 인스턴스가 어려운 문제를 작은 단위로 나눕니다.
- 새 인스턴스 투입: 같은 모델의 새 인스턴스들이 나뉜 작업을 하나씩 맡습니다.
- 공유 공간으로 조율: 공유 파일시스템에 계획, 메모, 현재 해법을 저장하고, 이를 바탕으로 서로 작업을 맞춥니다.
여기서 핵심은 파일시스템이 '팀의 공용 노트' 역할을 한다는 점입니다. 인스턴스가 새로 시작되더라도 이전까지의 맥락을 이어받을 수 있습니다.
무엇이 성능을 끌어올렸을까?
실행 대화 기록을 분석한 결과, 성능 향상의 주요 요인은 두 가지였습니다.
- 문제 분해: 복잡한 문제를 잘게 나누면 각 인스턴스가 감당할 수 있는 크기가 됩니다.
- 지속적인 문맥 유지: 공유 공간에 기록이 쌓이므로 긴 작업에서도 흐름을 잃지 않습니다.
LiveCodeBench 성능과 비용
| 모델 | 방식 | pass@1 | 비고 | |---|---|---|---| | Qwen3.8-27B (로컬, 오픈 웨이트) | 단일 호출 | 66.8% | - | | Qwen3.8-27B (로컬, 오픈 웨이트) | GVS5H | 92.4% | +25.6%p | | Qwen3.8 Flash Next | GVS5H | 93.0% | Fable 5 비용의 약 9% | | Fable 5 | 단일 호출 | 90.4% | 비교 기준 |
특히 눈여겨볼 부분은 직접 호스팅할 수 있는 가중치로도 비교 대상 최상위 모델의 코딩 정확도를 조금 넘어섰다는 점입니다. 보안이나 비용 때문에 온프레미스 환경을 써야 하는 팀에게는 반가운 결과입니다.
꼭 함께 봐야 할 한계
- 모든 모델이 좋아지지는 않았습니다. 평가한 11개 모델 가운데 일부는 변화가 없거나 오히려 성능이 떨어졌습니다. 오케스트레이션이 모든 모델에 통하는 해법은 아닙니다.
- Opus 5 결과는 실행 조건이 다릅니다. 이전 버전의 실행 프레임워크를 썼고, 고정된 백엔드에서 5회 실행한 것이 아니라 OpenRouter로 1회만 실행했습니다. 직접 비교할 때는 이 점을 감안해야 합니다.
- 벤치마크가 LiveCodeBench 고난도 문제 100개에 한정되어 있으므로, 실제 업무 코딩으로 일반화하려면 추가 검증이 필요합니다.
직접 돌려보고 싶다면
실행하려면 uv와 테스트할 모델의 API 키가 필요합니다.
--engine multiagent: 매니저를 사용하는 오케스트레이션 실행--engine single: 단일 호출 기준선- 모델은
openai:,anthropic:,dashscope:,openrouter:같은 접두사로 지정하며, 제공업체별 API 키가 필요합니다. - 실행이 끝나면 pass@1 점수가 출력됩니다. 결과는
runs/results.json에, 작업 공간은runs/ws/에 저장됩니다.
라이선스
- 코드: MIT License
- 논문, 그림, 실행 데이터: CC BY 4.0
- LiveCodeBench 포크, 벤치마크 문제문, LaTeX 템플릿은 각각 원래 라이선스를 따릅니다. 경로별 적용 범위는
NOTICE.md에서 확인할 수 있습니다.
에디터의 한마디
GVS5H는 모델을 키우는 것만이 답은 아니다라는 점을 보여줍니다. 작은 오픈 모델도 일을 잘 나누고 기록을 잘 공유하면 최상위 모델과 겨룰 수 있습니다. 비용을 10분의 1 아래로 줄이면서도요. 다만 모델에 따라 효과가 크게 달랐으므로, 도입 전에 우리 팀이 쓰는 모델과 작업 유형으로 먼저 검증해 보시길 권합니다.