MoE構成でアクティブパラメータは125Bのうち6Bだけ
Qwen3.8-Flash-Nextで1トークンの処理に使われるのは、総数125Bのうち6Bだけです。 MoE（Mixture of Experts）とは、中身を多数の小さな専門部品（エキスパート）に分け、入力ごとに一部だけを選んで動作させる構成のことで、このモデルでは全部で512個あるエキスパートのうち、1トークンの処理で動作するエキスパートは10個と共有の1個に限られます。
1トークンの処理で実際に使われる分をアクティブパラメータと呼び、このモデルを公開したAlibabaのQwen（クウェン）はその値を6Bとしています。n-gram埋め込み（連続する短い語の組ごとに持たせた埋め込み）51BとMTP（複数のトークンを先読みして予測する仕組み）4Bは、125Bとは別にカウントされています。
Hugging Face（ハギングフェイス）はAIモデルの公開サイトで、モデルカードはその説明ページです。主な構成は次のとおりです。
Qwen3.8-Flash-Nextの主な構成
| 構成要素 | 値 |
|---|---|
| 総パラメータ | 125B（うちアクティブ6B） |
| 125Bとは別のパラメータ | n-gram埋め込み51B・MTP 4B |
| 隠れ次元 | 2560 |
| 層数 | 48 |
| n-gram埋め込み | 2,000万（第2層でバイグラムとトライグラムを索引） |
| エキスパート数 | 512（1トークンで動作する数は10＋共有1） |
隠れ次元とはモデル内部で1つのトークンを何個の数値で表すかを指します。このモデルは、画像も読み込める視覚エンコーダ（画像を処理する部分）を備えた言語モデルと説明されています。
"Number of Parameters: 125B with 6B activated, plus 51B n-gram embedding and 4B MTP"／"Hidden Dimension: 2560"／"N-gram Embedding: 20,000,000 (bigrams/trigrams at layer 2)"／"Number of Layers: 48"／"Number of Experts: 512"／"Number of Activated Experts: 10 Routed + 1 Shared"（Model Overview 節）— Hugging Face モデルカードより公式情報を見る →
コンテキストウィンドウは100万トークンまで拡張可能
このモデルに一度に入力できる文章の長さは、ネイティブで262,144トークン、拡張すると最大1,000,000トークンです。 コンテキストウィンドウとはこの長さの上限のことで、ネイティブとは追加の設定をしない標準の状態を指し、拡張すると上限は1,000,000トークン、いわゆる100万トークンの文脈になります。
公式版のQwen3.8-Flashは、Flash-Nextをもとに本番向けの機能を追加した公式のモデルです。公式版の文脈長はデフォルトで100万トークンで、公式の組み込みツールも使うことができます。Flash-Nextで100万トークンまで使うには拡張が必要で、公式版と違い、Flash-Nextで100万トークンまで使うには拡張が必要です。
"Context Length: 262,144 natively and extensible up to 1,000,000 tokens."／"In particular, Qwen3.8-Flash is the official version based on Qwen3.8-Flash-Next with more production features, e.g., 1M context length by default, official built-in tools."（Model Overview ／ 冒頭）— Hugging Face モデルカードより公式情報を見る →
Qwen4に向けて試すのはスパースアテンションなど4つの要素
Qwen3.8-Flash-Nextは、Qwen4を支えることになるアーキテクチャの実験的プレビューです。 アーキテクチャとは部品の構成と役割分担を定めた設計のことで、モデルカードによると、設計の要点は次の4つとのこと。
- ハイブリッドアテンション: Gated DeltaNetとQwen Sparse Attention（QSA）を組み合わせています。アテンションとは入力のどこに注目するかを定める仕組みです。
- Gated Residual: 層をまたいで流れる情報を読み出し側と書き込み側のゲートで調整する仕組みです。
- n-gram埋め込み: 連続する短い語の組（n-gram）をキーにして引く埋め込みです。第2層で2語と3語の組（バイグラムとトライグラム）を使います。
- 訓練レシピ: MuonとAdamWという2種類の最適化手法（学習の進め方を定める計算方法）を、重みの種類ごとに使い分けます。
このうちQSAはスパースアテンション、つまり必要な部分だけを選んで注目する手法の一種です。QSAはトークンを1つずつ拾うのではなく、マイクロブロックというまとまりで処理対象を選びます。Qwenによると、このブロック単位の選択で長い文脈での遅延を大きく減らせるとのこと。
エージェントとはAIが複数の手順を自律的に進める使い方のことです。Qwenはさらに、実務ではエージェント型の使い方が増加しているので、長い文脈での遅延を減らせることは大きな利点になると述べています。
"This experimental preview of the architecture that will underpin Qwen4 is built around a fundamental rethinking of how the core components of modern large language models (LLMs) interact at scale."／"Rather than selecting individual tokens for processing, QSA operates at the micro-block level. This cuts long-context latency significantly, a critical gain as agentic workloads increasingly dominate real-world usage."／"Gated Residual modulates information flowing through widened residual streams via an element-wise, data-dependent read gate and a per-branch scalar write gate."／"The Muon and AdamW optimizers are applied to specific weight categories to maximize efficiency."（Highlights 節）— Hugging Face モデルカードより公式情報を見る →
ライセンスはqwen-community-1.0
Qwen3.8-Flash-Nextは重みと設定ファイルが公開されたオープンウェイトモデルで、ライセンスはqwen-community-1.0です。公開先はHugging Faceで、重みはTransformers形式で置かれています。また、重みと設定ファイルはHugging Face Transformers・vLLM・SGLang・TokenSpeedなどに対応しています。
いずれもモデルを動作させるためのソフトウェアです（関連記事：Qwen3.8-27Bの性能と、ローカルで動作させるために必要なVRAM、Unslothが公開する量子化モデルの精度と、1ビットまで削った時の限界）。ライセンスとは利用条件を定めた取り決めのことで、このモデルではqwen-community-1.0です。
"License: qwen-community-1.0"／"This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format."／"These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc."（モデルカード冒頭）— Hugging Face モデルカードより公式情報を見る →
Hugging Faceのベンチマークは公表値に限られる
Qwen3.8-Flash-Nextのベンチマーク数値は、すべてQwenが自社で公表した値で、第三者による再測定の値ではありません。 ベンチマークとは定められた課題をモデルに解かせて点数を比較する試験のことで、モデルカードには測定条件の但し書きも記載されています。
Qwen3.8-Flash-Nextのスコア（すべてQwen公表値）
| 評価 | スコア |
|---|---|
| DeepSWE 1.1 | 58.7 |
| SWE-bench Pro | 62.5 |
| SWE-bench Multilingual | 81.0 |
| CoWorkBench | 73.9 |
| IFBench | 81.3 |
| GPQA Diamond | 91.7 |
| LiveCodeBench v6 | 91.9 |
ハーネスとはモデルに課題を解かせる仕組みのことです。DeepSWE 1.1の値には、Claude Codeとmini-SWE-agentという2種類のハーネスでQwenが測定した結果のうち高いほうを採用しています。温度1.0・top_p 0.95・文脈256Kが共通の設定です。
SWE-bench Proの値は、Qwenが問題のある課題を修正した独自のベンチマークで測ったものです。比較対象の他モデルも、Qwenがこの修正後のベンチマークで測定し直しています。ただしClaude-Opus-4.6 (Max)だけは公式の公表値です。
CoWorkBenchはQwenの社内ベンチマークです。表にないHLEの採点はGPT-4oが担当しています。
同じ名前のベンチマークでも測定条件が異なれば値はそのまま比較できません。Qwenの公表値は他社の値とそのまま比較せず、目安にとどめておくのが安全です。
"DeepSWE 1.1: evaluated with the Claude Code and mini-SWE-agent harnesses, temp=1.0, top_p=0.95, 256K context window. We report the highest score across the two harnesses; notably, Qwen3.8-Flash-Next performs best on mini-SWE-agent."／"SWE-bench Pro: except for Claude-Opus-4.6 (Max), for which we report the officially published score, all models are evaluated with the Claude Code harness, temp=1.0, top_p=0.95, 256K context window. Problematic tasks were corrected and all baseline models were re-evaluated on the refined benchmark."／"CoWorkBench: an in-house cowork benchmark for evaluating long-horizon office and productivity agent tasks across computer science, finance, law, medical and other productivity domains."／"HLE: judged by GPT-4o."（Benchmark Results の注記）— Hugging Face モデルカードより公式情報を見る →
6B動作のMoEを、実験的プレビューとして試す
Qwen3.8-Flash-Nextは、1トークンあたり、総数125Bのうち6Bだけを動作させるMoE型のモデルです。 125Bとは別にn-gram埋め込み51BとMTP 4Bを持ち、文脈はネイティブで262,144トークンから拡張で最大100万トークンまで対応します。Qwen4の設計を試すモデルで、重みはqwen-community-1.0のライセンスで公開されています。
ただしこのモデルは実験的プレビューです。ベンチマークの数字は測定条件つきの自社公表値で、第三者が測定し直した値ではありません。
FAQ
- Qwen3.8-Flash-Nextはどんな構成のモデルですか？
- 1トークンの処理で動作する部分は、総数125Bのうち6Bです。n-gram埋め込み51BとMTP 4Bは、125Bとは別にカウントされています。画像も読み込める視覚エンコーダを備えた言語モデルと説明されています。
- 文脈はどれくらいの長さに対応していますか？
- ネイティブで262,144トークン、拡張すると最大1,000,000トークンまで対応します。なお、公式版のQwen3.8-Flashは、デフォルトの文脈長が100万トークンだと説明されています。
- Qwen4とはどう関係するのですか？
- Qwen4を支えることになる、アーキテクチャの実験的プレビューだと説明されています。設計の要点は、ハイブリッドアテンション・Gated Residual・n-gram埋め込み・訓練レシピの4つです。
関連する記事
オープンウェイトモデルとは？オープンソースとの違いとライセンスを解説オープンウェイトモデルは、AIが学習で身につけた数値（重み）を公開し、誰でもダウンロードして自分のPCやサーバーで実行できるモデルです。学習データやコードまで公開するオープンソースAIとの違いと、ローカル環境で動作させる利点と注意点を解説します。商用利用できる範囲は、モデルごとのライセンス次第です。
Wan3.0とは？30秒の動画を一度に生成できるAlibabaの新モデルAlibaba CloudのWan3.0は、1回の生成で最大30秒の動画を出力できる動画生成モデルです。PPTやPDFなど9形式の文書も入力にできますが、1回に提供できるのはファイルかリンク1つで、100MB・50ページまでです。料金は480Pで1秒0.05ドル（約7.98円）からで、30秒の1080Pは6.00ドル（約958円）です。
Qwenの30億ダウンロードとHugging Faceの公開データとの差Qwenの30億ダウンロードは報道されたAlibabaの数字で、全世界・直近6か月の合計です。Hugging Faceの公開データでは2026年の7か月間にHub上で20.45億回、派生モデルは15万1,448件でした。カウントする期間と範囲が異なるので2つの数字はそのまま比較できません。
Qwen-Audio-3.0-TTSを日本語で利用する時に必要な声の用意と料金日本語を含む16言語を読み上げるQwen-Audio-3.0-TTSは、Alibaba CloudのModel StudioからAPIで使う音声合成です。そのボイス一覧に日本語向けの声は無く、クローンで用意します。料金はシンガポールで1万文字あたり0.15〜0.2ドル（約24.6〜32.8円）、漢字は1字を2文字とカウントします。