DeepSeek+AnythingLLM打造自己大模型知识库

DeepSeek+AnythingLLM打造自己大模型知识库

目       录

1.      安装Ollama

2.      下载DeepSeek模型

3.      安装AnythingLLM

4.      基本应用

5.      自定义知识库应用

---

1.   安装Ollama

　　官方网站下载:https://ollama.com/，点击download进行下载。

为了避免安装在C盘占用空间，可以使用命令指定路径方式安装Ollama，安装命令：OllamaSetup.exe /DIR=d:\Ollama，如下图：

直接安装就可以了，如下图：

配置下载模型保存路径，在电脑的环境变量中增加：OLLAMA_MODELS，设置保存模型路径：D:\Ollama\models。如下图：

2.   下载DeepSeek模型

　　建议使用“Windows PowerShell”终端，使用“命令提示符”运行Ollama命令可能会出现参数错误的提示。

　　DeepSeek-r1模型：1.5b约占用空间1.1GB，7b模型是4.7GB，8b模型是4.9GB，14b模型是9.0GB，32b是20GB，70b是43GB，671b是404GB，根据自己磁盘空间进行选择，原则上数据越大，回答的问题就越全面。

　　我们选择下载8b模型，在Windows PowerShell终端运行命令：ollama run deepseek-r1:8b。如下图：

下载模型成功后，8b模型保存在D:\Ollama\models目录中。如下图：

使用命令运行模型：ollama run deepseek-r1:8b。试一下提问：你是谁？使用效果如下图：

这样就算安装成功了。

3.   安装AnythingLLM

　　安装一个交互界面的软件，可以把资料投喂给大模型，类似的交互界面很多，暂时使用AnythingLLM，有其他好用的工具，网友留言反馈。

　　官方网站：https://anythingllm.com，下载软件，如图：

同样默认安装到D盘，如下图：

　　点击安装后，直接等待安装完成。根据网速情况，安装快慢不一样，会下载各种模型及相关文件。如下图：

有可能all-minilm-l6-v2模型下载失败，这是一个语义转换模型，如果缺失，使用AnythingLLM上传文档内容会失败。下载all-minilm-l6-v2模型，github下载地址: https://github.com/user-attachments/files/18676036/Xenova.zip。

下载Xenova压缩包，解压到本机目录：C:\Users\WXZZ\AppData\Roaming\anythingllm-desktop\storage\models。如下图：

4.   基本应用

　　在桌面打开“AnythingLLM”应用程序，设置成中文，如下图：

　　新建一个工作区，单击“新工作区”，在demo工作区上单击设置图标，在“聊天设置”设置“工作区聊天模型”为：deepseek-r1:8b。如下图：

在demo聊天应用效果如下图：

5.   自定义知识库应用

　　在保持原有模型不变的情况下，提问：请规划一下稀土领域的生产管控系统的内容。deepseek回答的内容明显比较吃力，如下图：

　　有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库，可以试着让deepseek成为每个角色的助手，例如工艺的、信息化的、设备的、电气的等角色，让deepseek成为自己，再不断的迭代它。deepseek扮演AI助手的角色，应用越来越发挥出来应有的价值

　　将自己的资料投喂给deepseek模型，在demo工作区上单击上传文件按钮，如下图：

我把“稀土领域生产一体化管控系统案例.docx（基于iNeuOS工业互联网平台）”是上传投喂给deepseek模型，上传成功后，选择相应的文件，单击“Move to Workspace”按钮移动到demo工作区；然后单击“Save and Embed”按钮，这个过程会调用all-minilm-l6-v2模型，根据文档内容的大小处理过程耗时不一样；保存成功后，在文件后面的按钮钉起来后会变成黑色，就证明选择这个文件。如下图：

返回demo工作区后，问同样的问题：请规划一下稀土领域的生产管控系统的内容。如下图：

显然deepseek模型参考了“稀土领域生产一体化管控系统案例.docx”文件的内容，因为内容很多就不具体展示了。总体来讲，效果还算可能。文档的内容如下图：

---

物联网&大数据技术 QQ群：54256083

物联网&大数据项目 QQ群：727664080

QQ：504547114

微信：wxzz0151

博客：https://www.cnblogs.com/lsjwq

微信公众号：iNeuOS