17GB 노트북 AI, Qwen 3.8 27B는 왜 원 하나 그리는 데도 5분씩 고민할까
한눈에 보는 핵심 요약
Alibaba Qwen 연구소가 내놓은 Qwen 3.8 27B는 Apache 2.0 라이선스에 비전 기능, 무려 262,144토큰 문맥까지 갖춘 로컬 실행형 모델입니다. 17GB 양자화 파일 하나로 노트북에서 코드 작성, 도구 호출, 이미지 분석까지 소화하는 만능형 모델이죠. 성능은 확실히 인상적이지만, 딱 한 가지 문제가 있습니다. 기본 추론 강도인 xhigh가 지나치게 열심히 일한다는 것입니다. 원을 그려달라는 요청에도 애니메이션 효과와 색상표까지 고민하느라 수십 분을 써버리는 식이죠.
27B급, 왜 주목해야 할까
270억 매개변수급 모델은 적당한 사양의 노트북에서도 무리 없이 돌릴 수 있는 '딱 좋은 크기'로 꼽힙니다. Qwen 측 자체 벤치마크에 따르면 Qwen 3.8 27B는 전작인 Qwen 3.6 27B는 물론, 한때 Qwen 라인업 전체에서 강세를 보였던 폐쇄형 모델 Qwen 3.7-Plus보다도 나은 결과를 기록했다고 합니다. 다만 이는 자체 측정치이므로, 독립적인 검증은 아직 필요한 상태입니다. 이번 테스트는 128GB M5 Max MacBook Pro와 NVIDIA DGX Spark 두 장비에서 진행됐습니다.
문제는 기본값 xhigh
Qwen 3.8은 reasoning_effort라는 옵션으로 추론 깊이를 조절할 수 있습니다.
- xhigh: 복잡하고 철저한 분석용 (기본값)
- medium: 정확도와 속도의 균형
- low: 속도와 비용 우선
문제는 LM Studio용 GGUF 파일도 xhigh를 기본값으로 유지한다는 점입니다. 그 결과 소비자용 하드웨어에서는 아주 단순한 요청조차 장시간 추론에 갇히는 상황이 벌어집니다. 심지어 LM Studio의 기본 문맥 한도(8,192토큰)는 평범한 문제 하나 추론하는 것만으로 소진돼버려서, 최대치인 262,144토큰까지 늘려야 겨우 중단 없이 돌아갔다고 합니다.
자전거 타는 펠리컨: 21분 vs 137초
가장 극적인 사례는 "자전거를 타는 펠리컨 SVG를 그려줘"라는 프롬프트였습니다.
- xhigh(기본값): 추론 22,276토큰 + 출력 3,223토큰, 총 21분 소요
- 추론 끔: 출력 3,715토큰, 137초에 완성
흥미로운 건 21분짜리 결과물이 실제로 로컬 모델이 만든 펠리컨 SVG 중 가장 완성도가 높았다는 점입니다. 자전거 프레임 형태, 양쪽 다리 배치, 펠리컨 목주머니, 핸들에 닿는 날개, 움직임 선의 위치까지 세심하게 표현됐죠. 다만 품질은 좋아도 21분의 대기 시간을 정당화하긴 어렵다는 게 테스트 소감입니다.
원 하나 그리는 데도 과잉 설계
더 어이없는 사례는 "원 하나를 그린 SVG를 만들어줘"라는 초단순 요청이었습니다. xhigh 모드는 단일 <circle> 태그 대신 기하학적 구성, 동심원, 눈금, 그라데이션, 회전 점선, 발광 효과, 애니메이션, 색상표까지 장시간 고민한 끝에 결과물을 내놓았습니다. 결과물 자체는 아름다웠지만, 누가 봐도 요청 범위를 한참 벗어난 과잉 작업이었죠. 이 때문에 처음부터 low나 추론 비활성화로 시작하는 것이 권장됩니다.
비전 능력은 확실히 인상적
추론 과잉과 별개로, 비전 성능은 꽤 준수했습니다. 사진 속 펠리컨 두 마리의 위치를 0~1000 좌표계로 반환하도록 요청하자, 실제 사진과 매우 정확하게 일치하는 경계 상자(bounding box) JSON을 만들어냈습니다.
더 나아가 이 경계 상자를 이미지 위에 시각화하는 HTML 도구까지 단 한 번의 프롬프트로 만들어냈는데, 여기서도 xhigh의 '오지랖'이 드러났습니다. 요청하지도 않은 데모 장면(하늘·태양·물과 펠리컨 실루엣)을 자체적으로 만들어 넣은 것이죠. 다만 추론을 끄고 만든 버전은 상자 위치가 부정확했다는 점에서, 어느 정도의 추론이 '한 번에 제대로 작동하는' 결과물을 만드는 데 실제로 도움이 되긴 하는 것으로 보입니다.
로컬 코딩 에이전트로도 활용 가능
로컬 코딩 에이전트 Pi와 연동한 테스트에서는 Datasette 저장소의 인증 구조를 여러 파일을 오가며 분석하고, JSONL 대화를 Markdown으로 변환하는 Python 도구를 직접 작성·테스트하는 데 성공했습니다. 긴 문맥과 안정적인 도구 호출 능력이 뒷받침된 결과입니다.
속도가 가장 큰 걸림돌
LM Studio 기준 생성 속도는 초당 15~30토큰 수준으로, 사용 불가능한 정도는 아니지만 호스팅 API 모델(예: 초당 74~184토큰)에 비하면 확실히 느립니다. 이는 Qwen 3.8 27B가 MoE가 아닌 밀집형(dense) 모델이라 많은 메모리 대역폭을 요구하기 때문인데, 테스트에 쓰인 두 장비 모두 메모리 대역폭 면에서 최상급은 아니었습니다.
다행히 llama.cpp의 다중 토큰 예측(Multi-Token Prediction) 기능을 적용하자 LM Studio 기본 설정 대비 약 72% 속도 향상이 확인됐습니다. 모델 공개 이틀 만에 커뮤니티가 다양한 최적화를 시도하고 있어, 앞으로 llama.cpp나 MLX 생태계에서 추가 개선을 기대할 만합니다.
정리하며
Qwen 3.8 27B는 17GB 파일 하나로 긴 문맥, 도구 호출, 비전 처리, 코드 생성을 모두 소화하는 놀라운 모델입니다. 1년 전이라면 최고급 독점 모델의 영역이었을 기능을, 이제는 성능 좋은 노트북 한 대로 실행할 수 있다는 사실 자체가 인상적이죠. 다만 일상적인 주력 모델로 쓰기에는 속도가 아직 아쉽고, 기본값 xhigh가 만드는 불필요한 과잉 추론은 반드시 알고 넘어가야 할 함정입니다. 실사용 팁을 정리하면 이렇습니다.
- 평소에는
low또는 추론 비활성화로 시작하기 - 정말 복잡한 작업에서만
xhigh로 강도를 올리기 - 속도가 아쉽다면
llama.cpp의 다중 토큰 예측 기능 활용해보기
데이터센터급 하드웨어에 50만 달러를 쓰지 않아도 유능한 범용 AI를 손에 쥘 수 있는 시대가, 확실히 가까워지고 있습니다.