research / evidence dossier
量子化の根拠となる研究｜llama.cpp量子化の評価（8B限定）
llama.cppの量子化を複数評価した論文の要約と、このサイトの実務ガイドへの引用可否をまとめます。 一般化の限界を明示します。本記事は一次取得ができない環境での abstract レベルの記述であり、 full paper の数値を「読み取った」ものではありません（§26準拠）。
研究質問
主な問い：「llama.cpp の量子化方式のうち、どれがサイズ・品質・速度のバランスで優れているか」。 特に実務で頻出する Q2_K〜Q8_0 付近の複数方式を、同一モデルで比較することを目的としています。
論文メタ
| 項目 | 値 |
|---|---|
| タイトル | Which Quantization Should I Use? A Unified Evaluation of llama.cpp Quantization on Llama-3.1-8B-Instruct |
| 著者 | （要確認：full paper で要確認） |
| 公開日 | 2026-01-11（arXiv 投稿） |
| ステータス | プレプリント（査読前） |
| 対象モデル | Llama-3.1-8B-Instruct（単一） |
| ベース精度 | おそらく FP16/BF16（要確認） |
| 対象量子化 | 3〜8 bit の K-quant および legacy（複数） |
| ハードウェア | （要確認：full paper で要確認） |
実験設定（full paper で確認すべき項目）
以下は評価に含まれるべき項目のリストです。本環境では abstract 取得に留まるため、各値は未検証です。
| 項目 | 本サイトでの扱い |
|---|---|
| benchmark suite | perplexity + 下流タスク（具体的なタスク名は要確認） |
| perplexity | 量子化ごとの数値を原文で確認（未引用） |
| prefill / decode 速度 | ハードウェア依存。数値は未引用 |
| 量子化時間 | 配布物選びには影響小。参考値 |
| 統計処理 | 有意差の扱いを要確認（未検証） |
| 再現性 | コード・データ公開の有無を要確認 |
数値を「測定した」ように書くことはせず、確認項目として提示します（§10.1 の必須確認事項に準拠）。
主な知見（abstract ベース）
abstract レベルでの方向性：Q4_K_M 付近は「サイズを大きく削りつつ品質を維持する」バランスが良い という傾向が示唆されます。一方で「どの量子化が最適か」はモデル・タスクで変わり、単一モデルの結果を そのまま一般化できないことが、論文自身の射程としても注意されます。
実務への翻訳
- 採用できる結論：軽さと品質のバランスを取りたいなら、K-quant の中間精度（Q4_K_M 等）から始めるのが合理的。
- 採用できない結論：「このモデルなら必ず Q4_K_M が最適」——タスク・言語で変わるため、実測優先。
- 推奨ワークフロー：チェッカーで候補を絞り → 実際に動かして → 必要なら Q5_K_M 等と比較（比較記事）。
バージョンドリフト
論文が使用した llama.cpp のコミット/バージョンと、現在の llama.cpp / LM Studio が採用しているものは 異なる可能性があります。量子化方式の実装やデフォルトが更新されていれば、論文の数値と現在の挙動に差が生じ得ます。 そのため、論文の結果は「傾向の参考」とし、自分の環境での実測を優先します。
更新履歴・更新トリガー
- 論文が査読付き出版された場合：ステータスを更新し、結論の確からしさを再評価。
- full paper を読み、数値を確認できた場合：本ページの「確認項目」を実測値に書き換え。
- llama.cpp の量子化実装に大きな変更があった場合：バージョンドリフトの記述を更新。
更新履歴：2026-07-18 research dossier 拡張（研究質問・メタ・設定確認項目・実務翻訳・限界・drift・更新トリガーを追加。abstract 限界を明示）。