comparison
Q4_K_M と Q5_K_M の違い｜どちらを選ぶかの目安
ローカルLLMで最も迷う「Q4_K_M か Q5_K_M か」。品質・メモリ・速度のトレードオフと、 自分のPCに合う選び方を初心者向けに解説します。
前提：以下は一般的な傾向です。モデル・タスク・ランタイムで結果は変わります。
「必ず Q5 が良い」わけではありません。実ファイルが収まる候補だけを、同じ条件で比較します。
結論（かんたんに）
- 最初に比較するもの → 同じモデル・同じrevisionの実ファイルサイズ。
- Q4_K_Mだけが収まる → Q4_K_Mを候補にし、contextを含むロード見積もりを確認。
- 両方が余裕を持って収まる → 同じprompt・sampling・contextで出力と速度を比較（研究の限界）。
Q5_K_Mは通常Q4_K_Mより大きいものの、品質差・速度差はモデルとタスクで非単調です。名前だけで勝敗を決めません。
それぞれの特徴
| 項目 | Q4_K_M | Q5_K_M |
|---|---|---|
| おおよそのビット幅 | 約4bit（混在） | 約5bit（混在） |
| ファイルサイズ | 小さい（軽量） | やや大きい |
| メモリ負荷 | 低い | やや高い |
| 品質 | 用途別に測る | Q4より良いとは限らず用途別に測る |
| 選ぶ条件 | 小さい方が必要なとき | 増えたサイズに見合う差を確認できるとき |
正確なビット幅・サイズはモデルごとに異なります。ファイル名の Q4_K_M / Q5_K_M で判断します（デコーダー）。
比較表（概要）
| あなたの状況 | 推奨 |
|---|---|
| どちらか一方だけ空きメモリに収まる | 収まる方を選び、KV/runtime bufferの余裕も残す |
| どちらも収まる | 同じ条件で代表タスクを比較 |
| MoE / vision / 長いcontext | 全重み・mmproj・KVを加え、LM Studioのestimateを優先 |
| 品質が重要 | Q4/Q5だけでなく、元モデル評価と実タスクの合否基準を用意 |
決定のコツ：量子化名を序列にせず、実ファイル → ロード見積もり → 同一条件の実タスク比較、の順で決めます。
メモリ別の目安
モデルのパラメータ規模だけでは必要メモリは決まりません。同じ7B/8B表記でもtensor構成・GGUFの実効bpw・metadataが異なります。 Hugging FaceまたはLM Studioで、候補それぞれの実ファイルサイズを確認してください。
- 候補ファイルのサイズ差を記録する。
- 希望contextで
lms load --estimate-onlyを実行する。 - 空きRAM/VRAMにruntime bufferと他アプリ分の余裕を残す（メモリガイド）。
生成速度
Q5_K_Mの方がデータ量は増えますが、生成速度はmemory bandwidth、CPU/GPU kernel、offload、batch、contextでも変わります。 Q4_K_Mが必ず速いとは断定できません。同じruntime versionと設定でprefill/decodeを分けて測ります。
ファイルサイズは事前に比較できますが、速度と出力品質は実測項目です。
具体例
| 用途 | 推奨 | 理由 |
|---|---|---|
| 日常チャット | 同じ会話セット | 指示追従・日本語・速度・メモリを記録 |
| 長文ライティング | 同じ長文入力 | 破綻・反復・事実性を同じ基準で評価 |
| コード生成 | 同じテスト一式 | compile/test/securityを実行（コード生成の研究） |
| 高精度が必須 | 合否基準を先に定義 | Q8/F16を含めても自動的な品質保証にはしない |
Q5_K_M を選ぶ判断ができる場合
- 希望contextを含む見積もり後もRAM/VRAMに余裕がある。
- Q4_K_Mで落ちる具体的なテストがあり、Q5_K_Mで改善するか確認できる。
- 同一モデル・revision・runtime・設定で比較できる。
更新履歴：2026-08-31 固定VRAM表と未検証の速度・品質序列を除き、同一revisionでの再現可能な比較手順へ更新。