comparison
Q4_K_M と Q5_K_M の違い｜どちらを選ぶかの目安
ローカルLLMで最も迷う「Q4_K_M か Q5_K_M か」。品質・メモリ・速度のトレードオフと、 自分のPCに合う選び方を初心者向けに解説します。
前提：以下は一般的な傾向です。モデル・タスク・ランタイムで結果は変わります。
「必ず Q5 が良い」わけではなく、メモリに余裕がないなら Q4_K_M でも十分な場合が多いです。
結論（かんたんに）
- メモリに余裕がある → Q5_K_M を試す（品質の余裕）。
- メモリが厳しい / とりあえず動かしたい → Q4_K_M（実用的な品質、最も選ばれる定番）。
- どちらが良いか迷ったら → まず Q4_K_M で始め、必要なら Q5_K_M / Q6_K を比較（根拠）。
「Q4_K_M が最適」という断定は避けます。タスクによっては Q5_K_M の方が安定することがあります。
それぞれの特徴
| 項目 | Q4_K_M | Q5_K_M |
|---|---|---|
| おおよそのビット幅 | 約4bit（混在） | 約5bit（混在） |
| ファイルサイズ | 小さい（軽量） | やや大きい |
| メモリ負荷 | 低い | やや高い |
| 品質の余裕 | 実用レベル | やや上（タスクによる） |
| 選ばれる場面 | 低VRAM・とりあえず | 余裕あり・こだわり |
正確なビット幅・サイズはモデルごとに異なります。ファイル名の Q4_K_M / Q5_K_M で判断します（デコーダー）。
比較表（概要）
| あなたの状況 | 推奨 |
|---|---|
| VRAM 4-6GB | Q4_K_M（あるいはより小さい Q3_K_M / IQ 系） |
| VRAM 8GB | Q4_K_M が妥当、余裕があれば Q5_K_M |
| VRAM 12GB+ | Q5_K_M を試し、必要なら Q6_K / Q8_0 |
| 品質を最大化 | Q8_0 / F16（ただしサイズ大） |
決定のコツ：まず Q4_K_M で動かし、メモリに余裕があれば段階的に上げるのが安全です。
メモリ別の目安
モデルのパラメータ規模によって必要なメモリは変わります。例えば 7-8B クラスなら、 Q4_K_M は約 5-6GB 程度、Q5_K_M は数 GB 多めになる傾向です（あくまで目安、環境依存）。
- 小規模（~3B）：どちらでも余裕。Q5_K_M 推奨。
- 中規模（7-8B）：Q4_K_M が現実的。余裕があれば Q5_K_M。
- 大規模（13B+）：Q4_K_M でも厳しい場合あり。メモリ見積もりを確認（メモリガイド）。
生成速度
Q5_K_M の方がパラメータあたりのデータ量が多いため、同一ハードウェアでは Q4_K_M の方が僅かに速い傾向があります。ただし差はタスク・設定で変わります。
速度より品質を取りたいなら Q5_K_M、速度・軽量さを取りたいなら Q4_K_M という目安です。
具体例
| 用途 | 推奨 | 理由 |
|---|---|---|
| 日常チャット（ノートPC） | Q4_K_M | 軽量・高速、実用品質 |
| 長文ライティング | Q5_K_M | 品質の余裕 |
| コード生成 | Q4_K_M → 比較 | まず Q4 で、必要なら Q5/Q6（コード生成の研究） |
| 高精度が必須 | Q8_0 / F16 | サイズ大だが品質重視 |
Q5_K_M を選ぶべき場合
- VRAMに余裕があり、少しでも品質を上げたい。
- Q4_K_M で「何か違和感」があるタスク（長文・複雑な指示）。
- 比较して自分の環境で違いを確認したい。
更新履歴：2026-07-18 comparison 拡張（特性・比較表・決定表・速度・具体例・Q5選択条件を追加。断定を避け環境依存を明記）。