research / evidence dossier

量子化の根拠となる研究｜llama.cpp量子化の評価（8B限定）

llama.cppの量子化を複数評価した論文の要約と、このサイトの実務ガイドへの引用可否をまとめます。 一般化の限界を明示します。2026-08-31に本文を確認し、対象モデル・llama.cpp commit・hardware・taskを分離して整理しました。

読解の前提：査読前プレプリントで、Llama-3.1-8B-Instruct 1モデル・CPU環境の比較です。 この条件から「全モデルでQ4_K_Mが最良」のような結論は導きません。個別スコアは原文表を参照してください。

研究質問

主な問い：「llama.cpp の量子化方式のうち、どれがサイズ・品質・速度のバランスで優れているか」。 特に実務で頻出する Q2_K〜Q8_0 付近の複数方式を、同一モデルで比較することを目的としています。

論文メタ

論文メタデータ
項目値
タイトルWhich Quantization Should I Use? A Unified Evaluation of llama.cpp Quantization on Llama-3.1-8B-Instruct
著者Uygar Kurt
公開日2026-01-11（arXiv 投稿）
ステータスプレプリント（査読前）
対象モデルLlama-3.1-8B-Instruct（単一）
llama.cppcommit b7600
対象量子化3〜8 bitの13形式
ハードウェアdual Intel Xeon CPU環境

実験設定

「どの量子化が良いか」を1つの平均だけで決めず、品質・perplexity・速度・サイズを同じモデルで比較しています。

本文で確認した評価条件
項目本サイトでの扱い
downstream tasksGSM8K、HellaSwag、IFEval、MMLU、TruthfulQA
language modelingWikiText2 perplexity
efficiencyモデルサイズとCPU上の速度を比較。hardware依存として扱う
独立変数同じLlama-3.1-8B-Instructを13量子化形式で比較
再現範囲llama.cpp commitとCPU条件が固定され、現在versionへのdriftは残る

本サイト自身が測定した値ではありません。論文条件と結果の翻訳を分け、個別スコアの転載は行いません。

主な知見

結果は量子bitが上がれば全taskが単調に良くなるわけではないことを示します。 この条件ではQ4_K_SがPareto候補として扱われますが、taskごとの順位は揺れ、普遍的なQ4_K_M既定を支持する結果ではありません。

過大解釈を避ける：対象は単一8Bモデルです。MoE、VLM、他architecture、GPU、他言語・taskへ そのまま一般化できません。Q4_K_Sの条件付き結果を、Q4_K_Mや全4-bit形式へ読み替えません。

実務への翻訳

  • 採用できる結論：量子化選択はsize/速度/複数taskの多目的問題で、単一のbit数だけでは決まらない。
  • 採用できない結論：「Q4_K_Mが常に最適」「Q8_0なら全taskで上位」。
  • 推奨ワークフロー：実ファイルと見積もりで候補を絞り、同じrevision・prompt・設定で比較（比較手順）。

限界と非一般化

  • 対象は Llama-3.1-8B-Instruct 単一モデル。他規模（1B/3B/14B/70B等）への一般化は慎重。
  • MoE アーキテクチャへの適用は、active/total params の差により別検討が必要。
  • 日本語・コード生成等の特定タスクでの挙動は、別の評価（コード生成の量子化）と併せて判断。
  • llama.cpp のバージョンによって量子化の実装・挙動が変わる可能性（下記）。
  • プレプリント（査読前）のため、結論が修正される可能性がある。

バージョンドリフト

論文が使用した llama.cpp のコミット/バージョンと、現在の llama.cpp / LM Studio が採用しているものは 異なる可能性があります。量子化方式の実装やデフォルトが更新されていれば、論文の数値と現在の挙動に差が生じ得ます。 そのため、論文の結果は「傾向の参考」とし、自分の環境での実測を優先します。

更新履歴・更新トリガー

  • 論文が査読付き出版された場合：ステータスを更新し、結論の確からしさを再評価。
  • 改訂版・査読版が出た場合：対象、表、結論の変更を差分確認。
  • llama.cpp の量子化実装に大きな変更があった場合：バージョンドリフトの記述を更新。
量子化の基本へ Q4_K_M vs Q5_K_M 出典一覧へ

更新履歴：2026-08-31 本文を確認し、著者、commit、13形式、CPU条件、6評価軸、非単調性と一般化限界を更新。