从本地 GGUF 到 GPU 上的 AWQ/GPTQ，再到理论复盘。
Qwen2.5-1.5B-Instruct · llama.cpp · Metal
← 左右滑动查看完整表格 →
| 版本 | 体积 MiB | 每权重位数 | 体积占比 | pp512 t/s | tg128 t/s | PPL | PPL 增幅 |
|---|
WSL2 · RTX 4080 Laptop 12GB · vLLM / llm-compressor
← 左右滑动查看完整表格 →
| 对比项 | AWQ (W4A16) | GPTQ (W4A16) |
|---|
短句白话，方便以后回看。