llama.cpp归档 - 玩客笔记

7.2GB 跑 27B 大模型！三进制极限压缩，普通显卡能用来跑 Agent 吗？

玩客 2026年9月19日

7.2GB 跑 27

RTX 3060 部署 Bonsai 2 27B：12GB 显存实测与服务教程

玩客 2026年9月18日

RTX 3060 部

别再只看 tok/s：我做了一套开源的本地大模型标准测试工具 LLST

玩客 2026年9月17日

开源本地大模型标准评测工具 LLST 发布。通过 102 道锁定样本、Docker 沙箱代码验证与确定性长上下文压力测试，测出本地模型的真实能力与 TTFT 首字延迟。首发包含双 RX...

48G 显存挑战 125B 大模型！双 7900 XTX 实测 Qwen3.8 Flash：日常 38 tok/s、48K 长文本稳定 28 速度

玩客 2026年9月16日

48G 显存挑战 1

闲置电脑秒变大模型服务器：AI Linux 自动化安装与使用指南｜玩客笔记

玩客 2026年9月15日

本文带来面向本地大模型的 Ubuntu Server 自动化安装镜像使用指南：两步完成系统部署，全自动识别硬件并配置 llama.cpp 推理环境。文章详细梳理了 U 盘制作、双阶段启动逻辑、极简 ai...

【保姆级】双 RX 7900 XTX 部署 Qwen3.8-27B：双路独立 256K + 114 Tokens/s（Ubuntu 24.04 + ROCm + llama.cpp）

玩客 2026年9月14日

两张 AMD Radeon RX 7900 XTX 24GB 显卡配合 48GB...

【保姆级】RTX 3060 12GB 极限部署 Qwen 3.8 27B：64K 上下文 + 22 Tokens/s（Ubuntu 24.04 + revv / llama.cpp）

玩客 2026年9月13日

一张 RTX 306

Qwen 3.8 27B 本地满血部署实战：7900 XTX 24G 显存压榨 99%，262K长上下文+KV Cache Q4+MTP 飙出 53 TPS 极致推理（附全套配置与一键脚本）

玩客 2026年8月17日

作者：玩客 (Che

7900XTX 本地 AI 全栈指南：从选购到 LLM 推理、ComfyUI 生图、LTX 视频生成，一条龙踩遍

玩客 2026年6月3日

我为什么把AI搬回本地：5个在线AI绕不过去的坑

玩客 2026年5月26日

目录坑一：在线AI

llama.cpp

7.2GB 跑 27B 大模型！三进制极限压缩，普通显卡能用来跑 Agent 吗？

RTX 3060 部署 Bonsai 2 27B：12GB 显存实测与服务教程

别再只看 tok/s：我做了一套开源的本地大模型标准测试工具 LLST

48G 显存挑战 125B 大模型！双 7900 XTX 实测 Qwen3.8 Flash：日常 38 tok/s、48K 长文本稳定 28 速度

闲置电脑秒变大模型服务器：AI Linux 自动化安装与使用指南｜玩客笔记

【保姆级】双 RX 7900 XTX 部署 Qwen3.8-27B：双路独立 256K + 114 Tokens/s（Ubuntu 24.04 + ROCm + llama.cpp）

【保姆级】RTX 3060 12GB 极限部署 Qwen 3.8 27B：64K 上下文 + 22 Tokens/s（Ubuntu 24.04 + revv / llama.cpp）

Qwen 3.8 27B 本地满血部署实战：7900 XTX 24G 显存压榨 99%，262K长上下文+KV Cache Q4+MTP 飙出 53 TPS 极致推理（附全套配置与一键脚本）

7900XTX 本地 AI 全栈指南：从选购到 LLM 推理、ComfyUI 生图、LTX 视频生成，一条龙踩遍

我为什么把AI搬回本地：5个在线AI绕不过去的坑

You may have missed

💡 关于玩客笔记

💡 About Wanke Notes

📜 政策与合规 (Legal)

📜 Legal & Policies

🤝 官方联络与关注

🤝 Connect & Follow