GLM 5.2가 던진 질문: 우리는 AI 추론에 너무 비싼 값을 치르고 있는 걸까?
오픈 가중치(open weights) 모델이 드디어 Opus·GPT급 에이전트 작업에 근접했다는 평가가 나왔습니다. 주인공은 Z.ai의 GLM 5.2인데요, 단순히 "좋은 모델이 하나 더 나왔다"는 이야기가 아니라, 폐쇄형 프런티어 모델들이 누려온 높은 추론 마진이 무너질 수 있다는 신호라는 점에서 주목할 만합니다. martinalderson.com에 올라온 분석 글을 정리해 봤습니다.
핵심 요약
- GLM 5.2는 실사용에서 Opus와 구분하기 어려울 만큼 품질이 높으며, 가격은 약 $4.40/MTok으로 Opus 소매가의 20% 미만, GPT 5.5의 약 15% 수준입니다.
- AI 비용의 진짜 쟁점은 일회성 학습비가 아니라 수요에 비례해 늘어나는 추론 비용이며, $25/MTok 수준의 API 가격에는 약 90% 총마진이 숨어 있을 가능성이 제기됩니다.
- OpenAI·Anthropic 호환 엔드포인트 덕분에 base URL과 API key만 바꾸면 Claude Code나 Codex에서 바로 실험할 수 있어 전환 비용이 매우 낮습니다.
- 다만 비전(vision) 미지원, 약한 웹 검색, 느린 체감 속도는 여전한 약점입니다.
학습비가 아니라 '추론비'가 마진을 좌우합니다
DeepSeek R1 때를 떠올려 보세요. 당시 시장은 "V3 학습비가 600만 달러 미만"이라는 보도에 크게 반응했지만, 글쓴이는 이것이 AI 비용 구조를 잘못 읽은 사례라고 지적합니다.
- 학습 비용은 큰돈이 들지만 기본적으로 선불 고정비에 가깝습니다.
- 추론 비용은 고객 사용량과 함께 늘어나는 실제 한계비용입니다.
프런티어 랩의 사업 모델은 비싼 인력과 컴퓨트로 모델을 학습한 뒤, 수익성 높은 대량의 추론으로 그 비용을 상각하는 구조입니다. Anthropic과 OpenAI가 추론에 $25/MTok을 청구할 때 컴퓨트 비용 대비 약 90% 총마진일 수 있다는 계산이 나오는데요, 바로 이 마진이 오픈 가중치 모델의 공격 대상이 되는 셈입니다.
직접 써보니: 품질은 Opus급, 속도는 아쉬움
글쓴이의 실사용 소감은 꽤 인상적입니다. 일상적으로 쓰는 Opus와 구분하기 어려울 정도로 품질이 높았다고 해요. 다만 단점도 분명합니다.
- 모델이 많이 "생각"하는 특성 때문에 체감 속도가 느립니다. 백그라운드 PR 리뷰처럼 시간에 덜 민감한 작업에선 괜찮지만, 상호작용 사용에선 집중을 유지하기 어려운 수준입니다.
- 생각을 많이 하는 만큼 토큰 사용량이 늘어, 비용 효율이 일부 상쇄됩니다.
- 비전 미지원이 뼈아픕니다. 이미지 기반 PDF, 스크린샷, 디자인 파일을 읽는 워크플로가 늘어난 요즘엔 체감 약점이 큽니다.
- 웹 검색도 부재하거나 품질이 낮습니다. Z.ai의 대체 MCP는 느리고, Fireworks는 아예 제공하지 않아 ddgr 같은 CLI 검색으로 우회해야 합니다.
진짜 위협은 '갈아타기가 너무 쉽다'는 것
프런티어 랩 입장에서 가장 무서운 대목은 성능이 아니라 마이그레이션 난이도입니다. Z.ai와 Fireworks 모두 OpenAI·Anthropic 호환 엔드포인트를 제공하기 때문에, 전환 절차가 이 정도로 끝납니다.
- base URL을 추론 제공자로 변경
- API key 설정
- 모델을 GLM 5.2로 지정
Microsoft나 Salesforce식 lock-in처럼 수년짜리 마이그레이션 계획이 필요한 게 아니라는 거죠. 오히려 프런티어 랩의 잦은 정책·약관 변경을 따라가는 비용이 더 클 수도 있다는 평가입니다.
기업 도입: 온프레미스라는 카드
기업의 단골 우려는 데이터 프라이버시와 보안입니다. Z.ai의 공식 API는 느슨한 약관과 중국 본토와의 연결 때문에 기업 선택지가 되기 어렵지만, 오픈 가중치 모델은 제공자를 고를 수 있다는 점이 다릅니다. 더 적절한 계약 조건을 가진 제공자를 쓰거나, 아예 온프레미스로 호스팅하면 제3자에게 보낼 수 없던 민감한 데이터까지 Opus급 에이전트 워크플로에 활용할 수 있습니다.
물론 반론도 있습니다
Hacker News 토론에서는 회의적인 시각도 만만치 않았습니다.
- "클라우드 비용이 떨어져도 하이퍼스케일러는 여전히 고마진이고, 무료 대안이 있어도 Office와 Windows가 시장을 지배한다. 기업은 서비스 보장과 '소송 걸 수 있는 상대'에게 돈을 낸다"는 역사적 반례론이 있고요.
- 반면 "메모리 칩, 상용 UNIX, 상용 DB처럼 마진이 붕괴해 사라진 산업은 생존자 편향 때문에 안 보일 뿐"이라는 재반박도 나왔습니다.
- 결정적 차이로 꼽힌 건 역시 lock-in의 부재입니다. LLM은 입출력이 텍스트라 전환 비용이 거의 없고, 3개월마다 새 모델이 나오면 사람들이 바로 갈아탄다는 거죠. Intel에 큰 흠집을 낸 AMD의 부상이 더 적절한 비유라는 의견도 있었습니다.
마무리
GLM 5.2 비용은 서빙 스택 최적화와 AMD 하드웨어 활용(Nvidia Blackwell 대비 토큰당 2.75배 저렴하다는 분석도 있습니다)으로 앞으로 더 내려갈 전망입니다. 비전과 웹 검색이라는 공백이 채워진다면, "비슷한 품질을 절반 이하 가격에" 제공하는 오픈 가중치 모델이 프런티어 랩의 90% 마진을 본격적으로 압박하는 그림이 현실이 될지도 모르겠네요. AI 비용을 고민하는 팀이라면 지금이 한 번 실험해 볼 타이밍입니다.