glossary
GGUF用語集｜初心者向けに用語を解説
GGUFやローカルLLMで出てくる用語を、初心者向けに簡潔にまとめます。各用語から関連ページへ飛べます。
| 用語 | 意味 |
|---|---|
| parameter（パラメータ） | モデルの重み。Bは10億単位。多いほど表現力が上がりやすいが軽くなる。 |
| context（コンテキスト長） | 一度に扱えるトークン数。長いほどKVキャッシュを消費。 |
| KV cache | 生成時に使う中間メモリ。コンテキスト長に比例。 |
| offload（オフロード） | モデル層をGPU/CPUのどちらで計算するかの割り当て。 |
| Dense / MoE | 全パラメータを使うか、専門層を選んで使うか。MoEは活性パラメータが少ない傾向。量子化 とも関連。 |
| Instruct / Base | 会話向けか基礎モデルか。ダウンロード手順 参照。 |
| chat template | 会話の入出力を整形するルール。モデルに含まれる。 |
| imatrix | 量子化時の重要性評価。量子化の基本 参照。 |
| mmproj | 画像等のマルチモーダル投影ファイル。画像対応に別途必要。 |