『NAS』老破小也能玩 AI？飞牛 NAS 部署 LocalAI

AI大模型掀起的热潮早就已经在全球范围内迅速蔓延，可对于众多用户来讲，把模型部署到云端始终会附带着隐私出现泄露的那种担忧以及网络产生延迟的困扰。实际上，借助手头现有的NAS设备，就能够轻松地搭建出一个本地化的AI运行环境，这样既能保障数据的安全，又能够进行离线使用。今天所要介绍的LocalAI，的确是这样一个能够让你在NAS上运行大模型的一款开源工具，它提供与OpenAI相互兼容的API，使得本地调用变得格外简单。

准备条件与网络环境

在着手开展部署以前，硬件以及网络环境的准备是极其关键的。于你而言，需要有一台能够支持运行Docker的NAS设备，不管这设备是飞牛，又或者是群晖，再不然是威联通，其核心逻辑大体上都是相同的。此次演示所运用的是飞牛NAS（fnOS），它是一台被称作“老爷机”的老旧设备，恰好可用来测试它对于小尺寸模型的承载能力。

网络领域存在一个关键前提，那就是你的NAS得要有能稳定访问海外资源的本事。由于LocalAI运行所需要的各类基础模型文件，多数是托管在海外服务器上的，要是没有便捷的网络，下载进程会变成特别漫长并且极易失败的状况，这一点是需要预先确认妥当的。

创建专用文件目录

先要在NAS上创建专用文件夹，以此使所有文件整齐有序，方便往后管理与维护，打开「文件管理」应用，寻觅Docker相关目录，于里面新建一個叫localai的主文件夹。

在这个名为localai的文件夹里头，再去创建出一个models子文件夹。这个models文件夹呢，将会专门用来存放往后所有下载的AI模型文件。不管是有助于对话的大语言模型，还是用于图像生成方面的模型，均会统一放置于此处。

通过Docker Compose部署

飞牛NAS那有着非常直观的Docker管理界面，凭借Compose功能就能实现快速部署。要打开「Docker」应用，切换至“Compose”面板，点击“新增项目”。此功能能让我们借助编写一段配置文件达成一键完成容器的创建以及启动。

services:
  localai:
    image: localai/localai:latest
    container_name: localai
    ports:
      - 3456:8080 # 3456 可自定义映射端口
    volumes:
      - ./models:/models # 映射模型存放路径
    restart: always

于项目配置界面之中，你所要做的是输入一段预先就已准备妥当的Compose代码。此段代码对LocalAI容器所需的各类参数进行了定义，比如涉及端口映射、存储卷挂载等方面。待确认代码不存在错误之后才可点击“构建”按钮，如此系统便会自动去拉取镜像并且启动容器。

首次运行与模型下载

等到Docker Compose项目顺利构建且运行起来之后，LocalAI的服务便启动了，在浏览器地址栏当中输入你的NAS_IP地址:3456，就能够打开LocalAI的Web管理界面，这个界面设计得较为简洁，所有功能都集中于左侧菜单栏。

首次使用之际，得先去下载模型。点一下“Install Models”选项，于搜索框内输入你感兴趣的模型之名，像“qwen”（千问）这样。抉择一个小尺寸的模型，比如说9b参数的版本，针对性能有限的“老爷机”而言，参数量过大的模型会致使运行极为迟缓甚至没法加载。

性能实测与功能扩展

当点击进行下载之后，页面的顶部位置会呈现出模型下载时的进度条，在下载操作完成以后，返回到“Home”或者“Chat”界面，如此便能够开启与模型之间的对话进程，经过实测可知，在“老爷机”上运行具备9b参数的模型时，每秒仅仅能够生成大概2.3个token，并且响应的速度相对偏慢，不过这也证实了低配置的设备确实是能够让流程顺利运行起来的。

文本对话之外，LocalAI还支持文生图、文本转语音等诸多功能，然而也需下载相应的模型，比如，于模型列表里下载经典的“sd-1.5”模型，便能在文生图功能中感受本地“抽卡”的趣味，所有下载的模型文件都会规整地存放在先前创建的/docker/localai/models目录之下。

模型文件的管理与维护

当使用不断深入时，你会发觉models文件夹里面的模型文件会变得越来越多，每一个模型文件一般体积都比较大，常常达到几个GB，所以要定期对其予以检查以及管理，你能够经由NAS的文件管理器直接进到这个目录，去查看各个模型所占用的空间。

存在一些模型，这些模型不再被使用，或在经过测试之后，被认为不满意，对于此类模型，能够直接于文件管理器里进行删除，目的在于释放NAS的存储空间。这样一种直观的文件管理方式，同样是把AI服务部署于NAS上的一个显著优势，它可让模型管理变得如同管理普通文件那般简单。

你来在NAS之上布LocalAI之际，最想要去测试的究竟是对话模型，还是文生图模型，又或者是其他有着特定功能的模型？愉快地在评论区去分享你的想法，也绝对不要忘记去点赞以及收藏这篇文章，凭借方便日后进行参考。

相关标签： # NAS # LocalAI # AI模型 # 飞牛NAS # 文生图