GLM-5.3, 같은 몸으로 다른 실력을 갖췄다 — 포스트 트레이닝만으로 프런티어급 코딩·해킹 역량 달성
한눈에 보는 핵심 요약
Z.ai가 새 코딩 모델 GLM-5.3을 공개했습니다. 흥미로운 점은 기반 모델 자체가 새로운 게 아니라는 겁니다. GLM-5.2와 완전히 동일한 기반 모델을 쓰면서, 오직 '포스트 트레이닝'(사전학습 이후 추가 훈련) 단계에서 환경·과제·연산을 대폭 늘리는 것만으로 코딩과 사이버 보안 성능을 끌어올렸습니다. 그 결과 Terminal Bench 3.0 점수가 4.6에서 28.3으로, DeepSWE는 46.2에서 66.9로 뛰었고, 부산물로 취약점을 찾아 공격 체인 전체를 추론하는 '해킹 능력'까지 예상보다 빠르게 성장했습니다.
같은 모델, 다른 실력 — 포스트 트레이닝이 만든 차이
GLM-5.3의 개발팀은 GLM-5.2에서 이미 구축해 둔 기술 스택 세 가지를 그대로 이어받아 한 달간 더 크게 확장했습니다.
- IndexShare: 긴 문맥을 효율적으로 처리하는 기술
- SAO: 장기 과제(며칠씩 걸리는 작업)를 위한 강화학습 기법
- slime: 대규모 비동기 훈련 프레임워크
특히 GLM-5.2에서 도입한 '압축 기반 SAO'를 유지해, 짧은 문제뿐 아니라 오래 걸리는 과제에서도 성능이 계속 오르도록 설계했습니다. 그 결과 자체 벤치마크인 Z.ai Code Bench에서 GLM-5.2 대비 50% 향상을 기록했다고 밝혔습니다.
진짜 업무처럼 훈련시키다
이번 버전에서 가장 눈에 띄는 변화는 '훈련 환경'입니다. 단순한 코딩 연습문제가 아니라, 숙련된 엔지니어에게도 며칠씩 걸릴 법한 실제 프로덕션 작업 흐름을 훈련 재료로 삼았습니다.
예를 들어 ML 인프라 과제에서는 모델에게 연산 클러스터, 저장 시스템, 내부 문서, 코드베이스, 실험 결과까지 통째로 제공하고,
- 훈련 스택 전체의 병목을 스스로 진단하고
- 최적화를 구현·실험하며
- 정확성을 지키면서 측정 가능한 속도 향상까지 만들어내야
하는 방식으로 훈련했습니다. 사람이 과제를 잘게 쪼개 하나하나 감독하는 대신, 모델이 처음부터 끝까지 업무 전체를 책임지는 능력을 키운 셈이죠.
환경은 어떻게 만들었나
에이전트 실력이 높아질수록 병목은 '모델'이 아니라 '얼마나 좋은 훈련 환경을 마련하느냐'로 옮겨간다고 합니다. 이를 위해 연구 에이전트가 실제 업무에서 과제 패턴을 수집해 장기 실행 환경으로 바꾸고, 별도의 판정 에이전트가 직접 풀어보며 해결 가능성을 검증하는 파이프라인을 구축했습니다. 참조 정답 없이 검증기를 합성하고, 보상을 부정하게 얻는 '우회 경로'까지 찾아 미리 차단하는 정교한 과정을 거칩니다. 다만 이 과정에는 여전히 사람의 개입이 상당히 필요해, 더 자율화하는 게 다음 과제로 남아 있다고 합니다.
벤치마크로 확인한 성능 향상
GLM-5.2 대비 주요 지표가 골고루 상승했습니다.
| 벤치마크 | GLM-5.2 | GLM-5.3 | |---|---|---| | Terminal Bench 3.0 | 4.6 | 28.3 | | DeepSWE v1.1 | 46.2 | 66.9 | | Terminal Bench 2.1 | 81.0 | 88.2 | | FrontierSWE | 67.5 | 78.1 | | SWE-Marathon v1.1 | 19.4 | 42.5 | | AutomationBench v1.0.6 | 26.2 | 48.2 | | HLE w/ Tools | 54.7 | 62.5 |
다만 모든 지표에서 1등은 아닙니다. Terminal Bench 3.0에서는 Fable 5(33.7)와 GPT-5.6 Sol(34.6)이 더 높았고, DeepSWE에서도 Fable 5(69.7)와 GPT-5.6 Sol(72.7)이 앞섰습니다. 자체 Z.ai Code Bench의 max 모드에서도 Claude Fable 5(39.5%)가 GLM-5.3(34.5%)보다 높은 점수를 기록했죠. 다만 GLM-5.3은 훨씬 적은 출력 토큰(약 7만5천)으로 이 성능을 냈다는 점에서 효율 면의 강점을 강조하고 있습니다.
예상 밖의 사이버 보안 역량
가장 흥미로운 대목은 여기입니다. 취약점 탐지 훈련 데이터를 늘렸을 뿐인데, 단순히 결함 하나를 찾는 걸 넘어 여러 공격 단계를 엮어 완전한 익스플로잇 체인을 계획하는 능력이 자연스럽게 나타났다고 합니다.
- CyberGym(화이트박스 소스코드에서 취약점을 찾아 실제로 오류를 유발해 검증): 77.2% → 84.5%, 경쟁 모델인 Mythos 5(83.8%)와 GPT-5.6 Sol(83.6%)보다 높음
- ExploitBench(실제 취약점·익스플로잇에 대한 심층 추론 평가): 24.4% → 54.4%, 두 배 이상 상승 (다만 Mythos 5는 78.0%로 여전히 격차 존재)
- ExploitGym(시간 제한 내 완료한 익스플로잇 과제 수): 2시간 기준 29개→105개, 6시간 기준 39개→130개로 증가
공격 체인의 뒷단계로 갈수록 향상 폭이 컸지만, 동시에 최상위 폐쇄형 모델과의 격차도 커졌다는 점은 눈여겨볼 부분입니다.
실제 코드베이스에서 찾아낸 2,436개의 취약점
연구팀은 이 능력을 실전에 투입해봤습니다. 중국의 여러 보안팀과 함께 실제 코드베이스에 모델을 돌린 뒤 전문가 검토·중복 제거를 거쳐, 269개 프로젝트에서 2,436개의 취약점을 찾아냈습니다. 대상은 시스템 커널, OS, 브라우저 엔진, 오픈소스 인프라, 웹 애플리케이션, 네트워크 프로토콜까지 폭넓습니다.
- 심각도: Critical 107개, High 990개, Medium 1,286개, Low 53개 (Critical+High만 1,097개)
- 가장 오래된 결함은 1981년에 도입된 것이었고, 발견 전까지 평균 26.6년 동안 코드에 남아 있었습니다
- 이 중 53개는 이미 공개됐고, 2,383개는 아직 엠바고(비공개) 상태로, Z.ai Security Disclosure Ledger가 공개 절차를 지속 갱신하고 있습니다
엄청난 발견 규모지만, 동시에 강력한 취약점 탐지 AI가 공격에 악용될 수 있다는 이중적 성격도 함께 보여주는 결과입니다.
slime 강화학습 인프라와 API 변경 사항
이 모든 훈련을 뒷받침한 건 오픈소스 프레임워크 slime(훈련은 Megatron, 롤아웃은 SGLang 사용)입니다. 훈련·롤아웃·데이터 버퍼를 하나의 흐름으로 유지해, 새로운 훈련 환경을 추가할 때마다 전체 스택을 다시 만들 필요가 없도록 했고, 장기 코딩 강화학습에서 종단 간 처리량을 2.3배 이상 끌어올렸습니다.
실무자라면 꼭 챙겨야 할 부분도 있습니다. GLM-5.3은 low/high/max 세 가지 사고 노력 수준을 지원하되, 사고 기능 비활성화(thinking.type: disabled)를 더 이상 지원하지 않습니다. 기존에 사고 비활성화 방식을 쓰던 애플리케이션이라면 모델 ID를 glm-5.3으로 바꾸기 전에 thinking.type을 enabled로, reasoning_effort를 low로 바꿔줘야 요청 실패를 피할 수 있습니다.
정리하며
GLM-5.3은 "기반 모델을 새로 만들지 않아도, 포스트 트레이닝 단계에서 얼마나 현실적이고 방대한 환경을 마련하느냐가 실력을 가른다"는 걸 보여주는 사례입니다. 코딩 벤치마크에서 최상위권 폐쇄형 모델을 완전히 넘어서진 못했지만, 오픈 웨이트 모델 중에서는 최상급을 표방하며, 특히 취약점 탐지에서 사이버 보안 리서치와 방어 양쪽에 시사점을 던지는 결과를 냈습니다. 가중치는 안전성 평가를 마친 뒤 출시 2주 후 공개될 예정이라, 실제 커뮤니티의 검증도 곧 이어질 전망입니다.