在数字化时代，AI 的应用越来越广泛。对于组织而言，将 AI 模型部署在内网环境中，不仅可以提高数据的安全性和隐私性，还能根据自身需求进行定制化开发。本文将详细介绍如何利用 Ollama 和 AnythingLLM 在 Windows 环境下的内网中部署 DeepSeek，打造专属的内网 AI 助手。
一、准备工作
1.1 硬件要求
确保用于部署的 Windows 机器具备足够的硬件性能。DeepSeek 模型对硬件有一定要求，尤其是本次使用的 32B 版本，对硬件性能要求更高，推荐配置如下：
CPU：至少 16 核及以上，如 Intel Xeon 系列或 AMD EPYC 系列高性能处理器，以支持模型的高效运算。多核心处理器能够并行处理大量数据，加速模型的推理过程。
内存：64GB 及以上，32B 版本的 DeepSeek 模型运算量较大，充足的内存可保障数据处理的流畅性。运行时大量的数据需要在内存中进行快速交换和处理，内存不足会导致频繁的磁盘读写，严重影响模型运行效率。
硬盘：至少 1T GB 可用空间，用于存储 Ollama、AnythingLLM、DeepSeek 模型文件及相关数据。32B 版本的模型文件较大，同时运行过程中还会产生一些缓存和日志数据，因此充足的硬盘空间十分关键。
显卡：强烈推荐使用 NVIDIA GPU，如 NVIDIA GeForce RTX 40 系列或更高版本，需具备至少 16GB 显存。显卡的使用可以显著提升模型的运行速度，特别是在处理复杂任务时。NVIDIA 的 GPU 针对深度学习任务进行了优化，能够大幅缩短模型的响应时间。
1.2 软件要求
操作系统：Windows 11 64 位或更高版本，确保系统能够兼容 Ollama、AnythingLLM 及 DeepSeek 模型的运行环境。较新的操作系统版本通常具备更好的兼容性和性能优化，能为模型部署提供稳定基础。
安装 Docker Desktop：AnythingLLM的 Docker 版本功能更完整，因此需要先安装 Docker Desktop for Windows。在安装 Docker Desktop 时，确保开启 Hyper – V 虚拟化功能（Windows 10 专业版及以上支持），以保证 Docker 的正常运行。安装完成后，启动 Docker 并登录（如果需要），确保 Docker 服务稳定运行，在系统托盘中显示绿色运行图标。Docker 能够为模型提供一个隔离且可移植的运行环境，方便模型的部署和管理。
1.3 网络要求
整个部署过程中大量工具软件及数据包是需要在互联网环境下下载并配置的，建议在互联网端完成部署，再迁入内网。
二、安装 Ollama
2.1 下载 Ollama 安装包
Ollama 是本地模型管理工具，访问 Ollama 官方网站（https://ollama.com/download），在下载页面中，找到适用于 Windows 的安装包，点击下载。下载完成后，找到下载的安装文件 “OllamaSetup.exe”。网站页面布局清晰，下载按钮通常位于显著位置，方便用户快速获取安装包。
2.2 安装 Ollama
双击 “OllamaSetup.exe” 文件，开始安装 Ollama。在安装向导中，按照提示逐步进行操作：
首先，会出现许可协议页面，仔细阅读许可协议内容，若同意协议条款，点击 “接受” 按钮继续安装。许可协议包含了软件使用的相关规定，务必认真阅读。
接着，选择安装路径，默认情况下，Ollama 会默认安装到系统盘（通常是 C 盘）的 “C:\Users\用户名\AppData\Local\Programs\Ollama” 目录下，建议给C盘分配1T的空间。安装完成后，在电脑的右下角，就可以看到一只可爱的羊驼，表明 Ollama 已成功安装到系统中。图标出现意味着软件已成功安装并可随时使用。
三、下载并运行 DeepSeek 模型
3.1 选择 DeepSeek 模型版本
Ollama 支持多种 DeepSeek 模型版本，考虑到本次部署选择 32B 版本，该版本具有强大的语言理解和生成能力，但对硬件要求较高，需要高端 GPU（如 NVIDIA GeForce RTX 40 系列或专业级 GPU）以及更大的内存支持，适合对模型性能有较高要求的企业级应用或专业研究场景。在企业级应用和专业研究中，强大的模型性能能够处理复杂的业务和学术问题。
3.2 下载模型
在命令提示符窗口中，输入以下命令来下载并运行 DeepSeek 32B 版本的模型：
输入命令后，Ollama 会自动从模型仓库拉取所选版本的 DeepSeek 模型。下载过程的时间长短取决于网络速度和模型大小，32B 版本模型较大，可能需要较长时间，请耐心等待。下载完成后，模型将自动启动运行。网络速度和模型大小是影响下载时间的关键因素，耐心等待是确保模型成功下载的必要条件，下载完成会显示success。
到这里， Ollama 服务已成功启动，且 DeepSeek 模型已在本地运行，可以通过该界面输入文本与模型进行初步交互测试。
四、安装 AnythingLLM
为了给用户提供与DeepSeek更友好的GUI交流模式，同时将本地资料库数据给模型进行“投喂”，需要部署。anythtingLLM软件提供了本地desktop桌面版和docker容器版。区别如下：
这里我们选择安装docker版本在终端执行如下命令拉取镜像：
在 powershell/wsl 中执行如下命令：
执行成功后，在浏览器中打开 localhost:3001 使用 AnythingLLM。
五、配置 AnythingLLM 与 DeepSeek 模型连接
5.1 选择模型
打开 AnythingLLM 程序，在其界面中，点击界面左上角的配置按钮（通常是一个齿轮图标）。在弹出的配置菜单中，选择 “ollama” 作为推理后端。
5.2 配置模型参数
在配置页面中，进行以下参数设置：
在 “Workspace LLM Provider” 配置项中，确保选择 “ollama”。正确选择推理后端是连接成功的关键。
在 “ollama model” 配置项中，选择之前通过 Ollama 下载的 DeepSeek 32B 模型版本，即 “deepseek – r1:32b”。选择正确的模型版本才能确保模型正常运行。
对于其他配置项，如嵌入设置、向量数据库设置等，如果不熟悉，可先使用默认值。这些默认值通常能满足大多数用户的基本需求，后续可根据实际使用情况和性能优化需求进行调整。默认值是经过优化的通用设置，能满足一般使用场景。
这里已经可以在GUI可视化界面中与本地部署的deepseek模型开始聊天了。
六、投喂“数据”，并构建知识库
这里需要注意的是，在将部署完成的整体环境迁入内网投喂数据之前，需要在互联网环境中先投喂测试文件，以测试anythingLLM对文件的向量化能力，并更新基础向量模型数据，否则未完成这一步先迁入内网，上传真实业务数据文件时会报错。这一步完成后就可以将整个环境迁入与互联网隔绝的内网环境，完成真正的离线AI模型部署了。
6.1 准备文档
收集整理想要纳入知识库的文本数据，AnythingLLM 支持多种文件格式，包括 txt（纯文本文件）、excel表格、pdf（便携式文档格式）、doc/docx（Microsoft Word 文档格式）等。将这些文档整理到一个文件夹中，方便后续上传操作。确保文档内容准确、清晰，并且与需要 AI 助手处理的业务领域或知识范畴相关。整理文档能提高上传效率，准确相关的文档内容能提升 AI 助手的回答质量。
6.2 上传文档
在 AnythingLLM 界面中，找到工作区区域，点击工作区旁边的上传按钮（通常是一个向上箭头的图标）。在弹出的文件选择对话框中，选中之前准备好的文档文件，可以按住 Ctrl 键多选，然后点击 “打开” 按钮，将文档上传到 AnythingLLM 中。
按照下图把上传的文档移动到右侧的工作区
6.3 处理文档
在 AnythingLLM 界面中，点击 “Save and Embed” 按钮。此时，AnythingLLM 将开始处理上传的文档内容，它会对文档进行解析、分词、向量化等操作，并将处理后的内容嵌入到知识库中。这个过程可能需要一些时间，具体时间取决于文档的数量和大小。处理完成后，这些文档中的知识就可以被 DeepSeek 模型在回答问题时所利用。处理文档的过程涉及复杂的文本处理技术，处理时间与文档数量和大小成正比。
七、使用内网 AI 助手
经过前面的步骤，内网 AI 助手已部署完成并可以使用。在 AnythingLLM 界面的聊天输入框中，输入问题或指令，DeepSeek 32B 模型将结合导入的知识库内容，为用户提供精准且个性化的回答。例如导入了公文、台账资料等，用户可以使用自然语言设置条件进行查询。在情报资料库投喂积累后，进行要素关联、风格模拟，同时，用户还可以根据实际使用情况，对模型参数、知识库内容等进行优化和调整，以提升 AI 助手的性能和回答质量。这不仅提高了数据的安全性和隐私性，还能根据个人和组织的需求进行定制化服务，为工作和学习带来更多便利和效率。
版权声明：本文来自公众号《左手键盘右手书》
