스크랩

Qwen3.8-Omni-Flash 공개: 100만 토큰 옴니모달 모델, 오디오 입력 가격은 98% 인하

#Qwen#옴니모달#멀티모달AI#AI에이전트#비디오이해#LLM

Qwen3.8-Omni-Flash 공개: 100만 토큰 옴니모달 모델, 오디오 입력 가격은 98% 인하

한눈에 보는 요약

Qwen이 새로운 네이티브 옴니모달 모델 Qwen3.8-Omni-Flash를 공개했습니다. 텍스트·이미지·오디오·비디오를 한 모델에서 받아들이고, 단순히 "이해"하는 데서 멈추지 않고 작업 계획 → 도구 호출 → 결과물 제작까지 이어갑니다. 컨텍스트는 100만 토큰입니다.

핵심만 먼저 정리하면 이렇습니다.

  • 성능: Qwen 자체 공개 평가 29개 항목 평균 점수가 이전 Qwen3.5-Omni-Plus 대비 25% 이상 상승
  • 가격: 시간당 API 입력 가격이 오디오 98% 이상, 시청각 93% 이상 인하
  • 효율: OmniVideoBench 정확도 63.4 → 67.8로 오르면서, 질의당 토큰은 145,736 → 79,117로 약 45.7% 감소
  • 별도 모델: 실시간 스트림을 처리하는 Qwen3.8-Omni-Flash-Realtime 동시 공개

성능이 오르면서 토큰 사용량과 가격이 동시에 내려갔다는 점이 이번 발표의 가장 큰 이야기입니다.

왜 가격 인하가 중요한가

장시간 오디오·비디오는 그동안 "모델이 못 해서"가 아니라 비용 때문에 실서비스에 들어가기 어려웠습니다. 저장, 전송, 반복 추론 비용이 모두 크고, 기존 에이전트 하네스의 네이티브 지원도 초기 단계였죠.

Qwen은 이 문제를 모델 성능만으로 풀지 않고 도구와 실행 환경을 함께 확장하는 방식을 택했습니다.

  • Qwen-MM-Plugins: 필요에 따른 콘텐츠 인식과 장시간 작업 실행 담당
  • Qwen-Live Harness: 지속적인 실시간 상호작용 담당

참고로 가격 비교 조건은 이렇습니다. 시간당 가격은 2분 분량 입력 비용의 30배로 추정했고, 시청각 입력은 720p·초당 1프레임 기준입니다. Gemini 3.8 Flash는 media_resolution=high, Seed 2.0 Lite는 max_frame_tokens=384를 사용했으며 나머지는 기본값입니다. 텍스트 가격 단위는 100만 토큰당 위안이고, 달러 가격에는 1달러당 6.7191위안 환율이 적용됐습니다.

영상을 "전부 보지 않는" 에이전트식 이해

이번 모델에서 기술적으로 가장 흥미로운 부분입니다. 기존 방식이 모든 프레임을 밀어 넣었다면, Qwen3.8-Omni-Flash는 질문에서 출발합니다.

  1. 질문을 보고 무엇을 보고 들어야 할지 결정
  2. 대략적인 탐색으로 후보 구간 확보
  3. 세부 검증으로 근거 수집
  4. 여러 차례 상호작용 사이에 컨텍스트 유지

연산과 토큰을 관련 구간에만 집중시키기 때문에, 정확도는 오르고 토큰은 절반 가까이 줄어드는 결과가 나옵니다. 정적(Static) 방식과 에이전트 방식을 비교한 수치도 공개됐습니다.

| 벤치마크 | Static | 에이전트 | |---|---|---| | OmniVideoBench | 63.4 | 67.8 | | Video-MME-v2 | 65.0 | 71.3 | | LVOmniBench | 63.3 | 73.6 |

같은 조건에서 Gemini 3.8 Flash는 65.2/71.0/70.7 → 70.1/72.7/70.7로 변화했습니다.

제어 가능한 영상 설명

사용자가 대상, 시간 범위, 상세도, 출력 형식을 지정할 수 있습니다. 같은 영상에서 전체 개요를 뽑을 수도 있고, 인물 행동·촬영 구도·조명·소리를 심층 분석해 구조화할 수도 있습니다. 콘텐츠 제작, 특정 장면 검색, 자산 관리처럼 용도별로 다른 설명을 생성하는 식입니다.

회의 이해

최대 1시간의 시청각 입력을 네이티브로 지원하며, 음성과 영상을 함께 써서 화자를 인식합니다. 화자 분리·전사·신원 정렬을 종단 간 수행하고, 시각 정보로 "저거", "이 사람" 같은 지시 대상의 모호함을 해소합니다. 회의록과 실행 항목을 정리한 뒤 도구와 연결하면 이메일 발송이나 코딩까지 이어갈 수 있습니다.

AliMeeting 지표에서 DER/cpWER은 88.11/89.61 → 3.35/17.18로 크게 낮아졌습니다.

영상 제작 자동화: 이해에서 생산으로

여기서부터는 "보는 모델"이 아니라 "만드는 모델"입니다.

  • Music2MV: 노래의 구조·리듬·분위기·보컬·악기 변화를 분석해 등장인물, 장면, 촬영 구도를 설계합니다. 행 단위 가사와 타임스탬프로 노래·자막·화면을 정렬합니다.
  • 단편 드라마 번역·더빙: 전사 → 번역 → 더빙 → 편집으로 흩어져 있던 작업을 하나의 워크플로로 묶습니다. 한 문장으로 요구사항을 주면 화자별 대사 인식, 번역, 캐릭터 음성 복제, 오디오 재믹싱, 최종 검토까지 수행합니다. 분리된 도구로는 맞추기 어려웠던 캐릭터 음성·대사 길이·영상 호흡을 함께 다루는 게 포인트입니다.
  • 장편 영화 해설: 2~3시간짜리 영화를 받아 줄거리 이해, 핵심 장면 추출, 해설 기획, 음성·음악 제작, 편집, 렌더링, 품질 검토를 수행합니다. 원본 대사와 해설을 교차 배치하고 말하기 속도·음량을 조정합니다.

영상을 문서와 스킬로 바꾸기

오디오·비디오는 정보가 풍부하지만 선형적이고 비구조화된 형태라 검색과 재사용이 어렵습니다. Qwen은 이를 해결할 두 가지 오픈소스 기능을 Qwen-MM-Plugins에 포함시켰습니다.

  • Video2Note: 지식을 정리하고 핵심 절차를 나눈 뒤 대표 프레임을 골라 텍스트와 이미지가 대응하는 PDF 노트를 생성합니다. 자동 검토와 반복 수정을 거쳐 수 시간짜리 영상을 다시 찾아보기 쉬운 문서로 압축합니다.
  • Omni Skill Creator: 시연 영상에서 SOP(표준 운영 절차)를 추출하거나, 전문가 교육에서 도구 사용법·판단 기준·핵심 통찰을 학습합니다. 단일 시연을 검증과 평가를 거친 재사용 가능한 에이전트 스킬로 바꿉니다.

Realtime 모델과 공간 음향

Qwen3.8-Omni-Flash-Realtime은 완성된 콘텐츠를 처리하는 기본 모델과 달리, 실시간 스트림을 받으면서 동시에 인식하고 응답합니다. 실시간 컨텍스트에 따라 도구를 호출하고 작업까지 수행합니다.

  • 발음 연습: 발음과 의미를 함께 모델링해 억양, 모음·자음 대치, 성조 차이로 생긴 비표준 발화를 해석하고 올바른 단어와 연결합니다. 표준 발음 시범을 실시간 생성하고, 반복 연습에서 새 오디오를 반영해 판단을 갱신합니다.
  • 공간 음향 인식: 소리와 시각 정보를 결합해 음원의 방향과 거리를 지속적으로 판단하고 장애물, 이동 가능한 영역, 장면 변화를 인식합니다. Qwen은 소리로 목표 위치를 찾을 수 있는 최초의 옴니모달 모델이라고 밝혔습니다. "무슨 소리인지 가서 확인해" 같은 지시에 환경 소음에서 목표 소리를 분리하고 위치 추정·탐색·경로 계획·이동을 수행합니다.
  • 스킬 주입: 정체성 설정, 표현 방식, 업무 지식, 상호작용 규칙을 동적으로 적용합니다. 고객 서비스라면 브랜드 언어와 서비스 절차를 불러와 응답과 행동을 맞춥니다.

대형 모델이 소형 모델을 키우는 실험

실제 서비스는 품질·지연 시간·연산량·배포 비용을 함께 봐야 하므로, 특정 업무에 맞춘 소형 모델이 현실적인 선택지가 됩니다. 문제는 데이터 구축과 반복 학습에 시간이 많이 들고 전문가 의존도가 높다는 점이죠.

Qwen은 Qwen3.8-Omni-Flash를 모델 개발 과정 자체에 투입하는 실험을 했습니다. 과제는 "12시간 안에 Qwen2.5-Omni-3B의 쓰촨 방언 음성 인식을 개선하라"였습니다.

  1. 에이전트가 WenetSpeech-Chuan 평가 세트를 선택하고 평가 기준·기준 성능을 확정
  2. 오디오를 직접 듣고 인식 결과에서 문제를 진단
  3. 네 차례 실험 동안 학습 예제 3,413개 생성
  4. 평가 결과에 따라 효과적인 변경은 유지, 실패한 시도는 롤백

결과는 문자 오류율 25.79% → 15.30%, 상대적으로 약 40.7% 개선입니다. 범용 멀티모달 모델이 데이터를 이해하고 실험을 계획해 소형 모델에 특화 역량을 부여할 수 있다는 가능성을 보여준 사례입니다.

벤치마크 정리

멀티모달 에이전트 (괄호는 이전 모델 대비 상승폭)

| 벤치마크 | Qwen3.8-Omni-Flash | Gemini 3.8 Flash | |---|---|---| | WildClawBench-MM | 71.0 (+36.5) | 58.9 | | AgenticVBench | 36.8 (+22.3) | 45.0 | | UniClawBench | 69.6 | 69.0 | | OmniGAIA | 74.0 | 78.6 |

모델 간 우위는 평가마다 갈립니다. 하네스도 서로 다른데, WildClawBench-MM과 AgenticVBench는 Claude Code, UniClawBench는 OpenClaw를 사용하고 OmniGAIA는 하네스를 쓰지 않습니다. WildClawBench-MM은 WildClawBench 중 이미지·영상·오디오를 포함한 작업만 평가한 결과입니다.

장시간 이해·음성 처리

  • LongAudioSpan: 82.7 (+8.3)
  • OmniVideoBench: 63.4 (+9.6)
  • OmniCap-IF: CSR 80.6 (+8.5), ISR 28.2 (+14.1)

텍스트·코딩

  • SWE-bench Pro 63.3 / SWE-bench Multilingual 80.5
  • CoWorkBench 75.3 / IFBench 81.5
  • GPQA Diamond 91.0 / LiveCodeBench v6 92.6

SWE 계열은 주로 256K 컨텍스트, temp=1.0, top_p=0.95를 적용했습니다. NL2Repo-Bench에서는 보상 편법을 막기 위해 pip download, pip install, git clone 같은 저장소 접근 명령을 차단했습니다.

솔직하게 봐야 할 부분

Qwen은 모든 항목에서 이긴 게 아닙니다. FLEURS-ASR, FLEURS-S2TT, WenetSpeech Net, 일부 오디오 상호작용 평가에서는 이전 모델보다 낮은 점수도 기록했습니다. FLEURS 평가는 한국어를 포함한 60개 언어를 대상으로 하므로, 다국어 음성 인식·번역이 핵심인 서비스라면 이전 모델과 직접 비교해 보는 게 안전합니다.

Qwen은 시청각 성능이 Gemini 3.8 Flash에 근접하고 전반적인 오디오 성능은 이를 넘어선다고 밝혔지만, 이는 자체 공개 평가 기준이라는 점도 감안해야 합니다.

마무리

Qwen3.8-Omni-Flash는 Qianwen AI Platform에서 사용할 수 있습니다. 코딩·텍스트 지식 업무·GUI 조작을 기반으로 하던 에이전트 작업을 오디오와 비디오 영역으로 확장하는 게 이번 릴리스의 방향입니다.

주목할 점은 두 가지입니다. 하나는 필요한 구간만 골라 보는 에이전트식 이해가 정확도와 비용을 동시에 개선했다는 것, 다른 하나는 이해에서 끝나지 않고 제작과 실행까지 연결했다는 점입니다. 영상 콘텐츠를 다루는 서비스를 만들고 있다면, 특히 가격 인하 폭을 감안해 한 번쯤 계산기를 다시 두드려볼 만합니다.

원문: https://news.hada.io/topic?id=33884