闲置电脑秒变大模型服务器：AI Linux 自动化安装与使用指南｜玩客笔记
[!NOTE]
当前验证状态说明：
当前版本已完成虚拟机 CPU 环境的完整安装链路验证；NVIDIA 与 AMD GPU 的自动驱动部署逻辑已集成，但具体仍需以特定硬件兼容性和实机测试结果为准。
很多朋友手头都有闲置的台式机、退役的小主机，或者装有独立显卡（NVIDIA / AMD）的旧电脑，想把它们改造成一台专门跑本地大模型（LLM）的服务器，放在家里或办公室局域网内随时调用。
但对于不熟悉 Linux 的朋友，从系统安装、网络与 SSH 配置，到排查显卡驱动、配置 CUDA / ROCm 环境与编译推理引擎，中途任何一步报错都可能直接劝退。
为了降低使用门槛，我们设计并制作了一套基于 Ubuntu Server LTS 的自动化安装镜像——AI Linux Installer。普通用户无需记忆复杂的 Linux 命令，只需完成账号创建与目标硬盘选择两个基本步骤，后续的系统部署、硬件适配与 AI 推理环境均由后台自动完成。
一、系统核心设计与特性
这套镜像基于成熟的 Ubuntu Server 24.04 LTS 制作，专为纯粹的“AI 推理机”定位裁剪与优化：
- 极简资源开销：不安装桌面环境，减少图形桌面带来的资源占用，把宝贵的 CPU、显存和内存全额留给大模型推理。
- 硬件自适应识别：在首次启动时智能检测机器的 GPU 类型（NVIDIA 独显、AMD 独显或纯 CPU），并分流执行对应的驱动与加速计算栈部署。
- 内置高性能推理引擎：底层原生构建
llama.cpp，支持主流 GGUF 格式量化模型（如 DeepSeek、Qwen、Llama 等），并自带兼容 OpenAI 协议的 API 服务。 - 统一
ai管理工具：封装了极简的终端管理命令，一条指令即可查看硬件状态、罗列模型或启动局域网 API 服务。
二、安装前准备与硬件推荐
1. 硬件配置建议
- 主板与 CPU：64 位 x86 电脑（台式机/笔记本/小主机/工控机均可）。
- 内存 (RAM) 建议：
- 系统最低要求：8GB RAM；
- 运行 7B / 8B 模型：建议 16GB 以上；
- 运行 14B 模型：建议 24GB ～ 32GB 以上；
- 更大模型：需根据具体量化级别（Q4/Q8）及上下文窗口（Context Length）继续增加。
(注：如果模型权重主要由独立显卡的显存承载，内存需求会有所不同，因此请以实际运行情况为准) - 硬盘：准备一块空白硬盘（重要提示：安装过程会格式化目标硬盘，请务必提前备份重要数据）。
- U 盘：准备一个 8GB 以上的普通 U 盘。
- 安装镜像：下载测试好的
AI-Linux-Installer.iso镜像文件（见下方下载链接）。
2. 系统安装镜像下载直达
我们已将打包制作好的系统安装 ISO 镜像上传至夸克网盘，可直接下载：
📦 AI Linux 系统安装包 (ISO) 获取：
* 网盘链接：https://pan.quark.cn/s/ce43cea2083b
* 夸克 APP 口令：复制下方口令，打开「夸克 APP」即可自动识别获取：
text
祄另七并枫并诶提词七五汢 /~e6433atcKP~:/
3. 制作启动 U 盘
推荐使用开源工具 Rufus（Windows）或 BalenaEtcher（Mac / Windows）：
- 插入 U 盘，打开制作工具；
- 镜像选择已下载的
AI-Linux-Installer.iso； - 关键提示：如果使用 Rufus 写入，若弹窗提供 ISO / DD 两种写入方式，当前测试版本请优先选择「DD 模式」写入，以减少自定义 Hybrid ISO 文件系统被重构的变量；
- 写入完成后，安全弹出 U 盘。
三、极简安装步骤：仅需两步交互
安装全程仅保留了最基础的两个确认步骤，既避免误清空其他数据盘，又能让您自行设置管理员账号。
插上 U 盘开机
↓
GRUB 菜单选择 AI Linux Installer
↓
步骤 1: 设置管理员账号与密码
↓
步骤 2: 选择目标安装硬盘
↓
系统全自动分区与安装
↓
安装完成并重启
↓
进入首次启动初始化
步骤 1：从 U 盘启动并选择菜单
将 U 盘插入待安装电脑，开机时连续按热键（如 F12、F11、Del 或 F2，取决于主板型号），调出启动项选择菜单，选择你的 U 盘（推荐选择带有 UEFI 标识的项）。
进入 GRUB 引导界面后，直接回车选择第一项：AI Linux Installer。
步骤 2：设置身份与选择硬盘
系统进入自动化引导后，屏幕上只会出现两个简易交互界面：
- 设置身份信息 (Identity)：输入姓名、服务器主机名（如
ai-server）、管理员用户名和登录密码； - 选择安装硬盘 (Storage)：使用方向键上下移动，选中用于安装系统的目标硬盘，确认回车。
[!IMPORTANT]
完成以上两步后，双手即可离开键盘。
系统将自动进行磁盘格式化、安装核心软件包与网络配置。关于重启的注意事项：
安装完成后系统会自动重启。若电脑再次进入了 U 盘安装界面，请拔掉安装 U 盘，或在 BIOS / 启动菜单中选择系统硬盘启动，切勿再次执行安装。
四、使用独立 GPU 时，首次启动可能自动再次重启
当系统首次从硬盘启动进入系统后，后台的首次初始化服务（Firstboot）会自动接管。这里有一个正常的系统行为需要知悉：
- NVIDIA / AMD GPU 路径：系统在后台静默识别到独立显卡后，会自动部署官方驱动或 ROCm 计算环境。驱动模块部署完成后，系统会自动重启一次以正确加载内核模块，随后进入第二阶段编译推理引擎。
- 纯 CPU 模式：系统检测无独立 GPU 时，会自动跳过驱动安装与重启步骤，直接进入第二阶段进行 CPU 优化版本的构建。
[!TIP]
如果你的机器配有独显，看到屏幕自动黑屏并再次重启，请勿强制关机或拔电，这是驱动生效的必要过程。
初始化全部完成后，控制台将呈现专属的登录欢迎面板（MOTD）：
╔══════════════════════════════════════════════════════════════╗
║ 🚀 AI Linux Server Ready ║
╠══════════════════════════════════════════════════════════════╣
║ ║
║ 本机 IP: 192.168.1.100 ║
║ GPU 状态: Detected / Ready ║
║ 推理引擎: llama.cpp (已就绪) ║
║ 模型存放: /models/ ║
║ ║
║ 常用控制台命令: ║
║ • ai status 查看硬件与运行状态 ║
║ • ai models 查看已有 GGUF 模型 ║
║ • ai serve /models/xx.gguf 启动局域网 API 服务 ║
║ • ai doctor 查看部署日志与排查状态 ║
║ ║
╚══════════════════════════════════════════════════════════════╝
五、开箱即用：常用 ai 命令指南
系统部署完成后，你可以直接在本地控制台操作，也可以在日常使用的电脑终端通过 SSH 远程登录它：
ssh 用户名@192.168.1.100
系统内置了开箱即用的统一管理命令 ai：
1. 查看设备与运行状态：ai status
输入以下命令：
ai status
终端会输出当前系统版本、CPU、内存总量、当前 IP 地址、GPU 识别结果以及推理引擎的就绪状态。
2. 存放与管理模型：ai models
系统在根目录下预建了统一的模型文件夹 /models。你可以把下载好的 .gguf 模型放入该目录（可通过 SFTP 工具拖拽，或使用 wget / curl 直接下载）：
# 列出 /models 目录下的所有 GGUF 模型及文件大小
ai models
3. 一键启动局域网 API 服务：ai serve
指定目标模型，一键启动服务：
ai serve /models/qwen2.5-7b-instruct-q4_k_m.gguf
系统会在 8000 端口启动一个 OpenAI-compatible（兼容 OpenAI 协议） 的 API 服务，终端会保持运行并输出请求日志。
六、如何用主力机或手机连接这台 AI 服务器？
启动 API 服务后，这台主机即可作为局域网的集中算力后端。你可以使用任何支持自定义 OpenAI 接口的客户端（如 Chatbox、NextChat、Open-WebUI）或浏览器翻译扩展（如 沉浸式翻译）：
- 接口类型 / 提供商：选择
OpenAI API； - API 地址 (Base URL)：填入该机器的内网地址，格式为：
text
http://192.168.1.100:8000/v1
(请将 IP 替换为您机器实际的内网 IP) - API Key：本地服务默认无需鉴权，随意输入任意字符（例如
sk-local）即可； - 模型名称：填写你启动的对应模型名称。
[!TIP]
本地部署的核心收益：无云端 API 次数限制，数据主要在本地网络和本地设备之间处理，更适合重视隐私和长期使用成本的场景。
七、常见问题答疑 (FAQ)
Q1：只有纯 CPU 的小主机可以使用这套镜像吗？
答：可以。系统在第一阶段检测不到独立 GPU 时，会自动走 CPU 运行模式，编译适配 CPU 指令集的推理运行时。适合轻度运行 0.5B ~ 7B 级别的轻量模型。
Q2：如何将大模型文件传进这台主机？
答：最简单的方式是在日常电脑上使用 SFTP 客户端（如 Windows 上的 WinSCP 或 macOS 上的 Cyberduck），使用安装时创建的账号密码连接主机的 IP，直接将电脑里的 .gguf 文件拖入 /models 目录。
Q3：如果服务未正常就绪，如何快速排查？
答：在终端运行：
ai doctor
该命令会快速查看 GPU 类型、当前运行状态以及最近的系统部署日志（/var/log/ai-installer.log），方便准确定位问题。
总结
AI Linux 自动化安装镜像的出发点，是把原本繁琐的 Linux 运维、内核驱动安装和 CMake 编译过程封装到底层，让大家手头闲置的电脑和显卡能够以最小的学习成本，快速转化为高可用的私有大模型算力节点。
大家在装机实测中遇到任何机型兼容性问题，欢迎在评论区或社区留言交流反馈！
About The Author
