一、Windows 版 DeepSeek-R1、Ollama 与 AnythingLLM 介绍及核心使用场景

一、组件功能与定位

  1. DeepSeek-R1

    • 模型特性‌:支持 ‌FP16 计算‌ 和 ‌CUDA 加速‌,提供 1.5B 至 671B 参数量级版本,适用于本地部署的逻辑推理、文本生成、数据分析等场景‌。
    • 优势‌:开源免费、响应速度快(本地低延迟),支持中文复杂任务处理‌。
  2. Ollama

    • 核心功能‌:简化大语言模型本地部署流程,支持一键下载、运行和管理模型(如 DeepSeek-R1),提供命令行界面和灵活的环境变量配置‌。
    • 特性‌:支持自定义安装路径(需修改系统变量)、多模型切换、离线运行‌。
  3. AnythingLLM

    • 定位‌:全栈 AI 应用,集成本地大模型(通过 Ollama)与知识库,支持文档/音视频/网页内容转换为上下文数据,供 LLM 调用‌。
    • 功能‌:私有化知识库构建、多工作区管理、模型与数据关联式问答‌。

二、核心使用场景

  1. 企业内部知识库与智能客服

    • 场景‌:通过 AnythingLLM 上传企业文档(如产品手册、合同),结合 DeepSeek-R1 实现精准问答,替代传统人工客服‌。
    • 优势‌:数据本地化存储(避免云端泄露)、支持多格式文件解析‌。
  2. 专业领域研究与分析

    • 场景‌:科研人员使用 DeepSeek-R1 处理长文本(如论文、报告),生成摘要或提取核心结论;结合 AnythingLLM 训练领域专属模型‌。
    • 案例‌:法律条文分析、医学文献结构化处理‌。
  3. 个人效率工具

    • 场景‌:

      • 周报生成‌:输入工作记录,由 DeepSeek-R1 自动整理成结构化周报‌。
      • 实时翻译‌:本地部署模型实现无网络环境下的多语言互译‌。
      • 个性化知识助手‌:导入个人笔记、电子书等资料,构建专属知识库,辅助日常学习决策‌。
  4. 开发与测试环境

    • 场景‌:开发者通过 Ollama 快速切换不同参数量级的 DeepSeek-R1 版本,测试模型性能或调试应用兼容性‌。

二、本地下载安装部署

1、安装 CUDA Toolkit 步骤如下https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64

  1. 不用显卡跳过此步骤
  2. 访问指定链接下载 CUDA Toolkit。请务必留意针对 Windows 系统的版本选项,如 Windows 10、Windows 11 等,并选择 “local” 本地安装类型,以获取最佳安装体验。
  3. 下载过程需登录 NVIDIA 账号。若您尚无账号,请提前完成注册流程,确保下载顺利进行。
  4. 完成 CUDA Toolkit 安装后,请重启计算机,以使所有配置更改生效,从而确保 CUDA Toolkit 能够正常运行。

2、Ollama 安装:https://ollama.com/

  1. 下载与安装:前往 Ollama 官方网站,获取 Ollama 安装程序。整个下载与安装流程十分简易,按照系统提示逐步操作即可轻松完成,在此便不展开详述。
  2. 后台运行检查:安装完成并启动 Ollama 后,该程序将在后台持续运行。您可通过查看电脑右下角的系统托盘区域,确认是否出现 Ollama 的 Logo 图标,以此判断 Ollama 是否已成功在后台启动并正常运行 。

3、 通过Ollama安装模型https://ollama.com/search

  1. 选择模型参数与获取安装命令:Ollama 的模型库涵盖了丰富多样的大语言模型,通过 Ollama 安装 DeepSeek - R1 模型的操作十分便捷。其模型库中的可用模型包括但不限于 DeepSeek - R1、Lamma3.3、qwq 等,用户可按需选择安装 。进入 DeepSeek - R1 模型集合,依照下方图示的顺序,选择合适的参数数量,然后复制对应的安装命令。
  2. 考虑硬件限制:需特别注意,GPU 显存大小(若仅使用 CPU,则考虑本地主机的内存)会限制可使用的模型大小。例如,拥有 16GB 显存的 GPU 能够运行 14B 的模型,而 24GB 显存的 GPU 则可以运行 32B 的模型。
  3. 执行安装命令:普通电脑运行1.5b就可以,不用显卡。以本人为例,我选择了 14B 的模型。复制好命令后,打开 Powershell 并执行该命令,Ollama 会自动开始安装相应版本的 DeepSeek - R1 模型。你只需耐心等待命令运行结束,安装完成后即可使用该模型。
ollama run deepseek-r1:1.5b

Powershell 的终端中直接运行了,但是存在诸多不便之处。比如,难以对对话记录进行保存、搜索与管理,无法读取附件,并且无法集成本地知识库来实现检索增强生成等功能,极大地影响了用户体验。因此,强烈推荐大家安装一款本地 AI 应用用户界面,本文以 AnythingLLM 为例进行示范。

4、AnythingLLM 安装与配置:https://anythingllm.com/desktop

  1. 下载与安装:前往 AnythingLLM 官方网站获取安装程序并进行安装。
  2. 启动与设置:安装完成并启动 AnythingLLM 后,在设置中选择 “Ollama”(注意不是 “DeepSeek”)。
  3. 在设置中选择 “Ollama”(注意不是 “DeepSeek”)作为 LLM Provider。此时,AnythingLLM 会自动检测本地部署的大语言模型,从中选择 “deepseek - r1:14b”。然后一直点击右键。
  4. 创建工作区并开始对话:完成上述步骤后,创建一个 Workspace,随后即可开启与模型的对话之旅。
  5. 进行设置

  6. 保存设置

    5、下载 embedding 模型

    步骤一:下载模型

    1. 打开命令行工具。
    2. 在命令行中输入指令 ollama pull nomic-embed-text,然后回车执行,等待模型下载完成。

    步骤二:切换并保存模型设置

      1. 找到系统左下角的相关操作入口(扳手)。
      2. 切换到新下载的 nomic-embed-text embedding 模型。
      3. 切换完成后,点击 “保存更改” 按钮,确保设置生效。

6. 上传本地资料构建本地数据库

  1. 在工作空间页面中,找到并点击 “上传” 按钮。
  2. 依据实际需求选择上传方式:你既可以直接上传本地文件,也能够选择连接数据库以获取所需资料。
  3. 资料上传或数据库连接完成后,点击 “保存” 按钮,系统将自动对上传的资料进行向量化处理。
  4. 然后新建对话进行测试。

三、Windows 系统 Ollama 当服务器开放共享给其他人


一、配置环境变量开放访问权限

  1. 设置 OLLAMA_HOST 环境变量

    • 右键点击「此电脑」→「属性」→「高级系统设置」→「环境变量」→「系统变量」→「新建」:

      • 变量名‌:OLLAMA_HOST
      • 变量值‌:0.0.0.0(允许所有网络接口监听请求)‌
    • 若需同时解决跨域问题,可添加变量 OLLAMA_ORIGINS,值为 * ‌。
  2. 重启 Ollama 服务

    • 退出任务栏的 Ollama 程序(右键图标→「Quit Ollama」),重新启动 Ollama ‌。
    • 若配置未生效,建议重启系统 ‌。

二、开放防火墙端口

  1. 通过命令行添加防火墙规则

    • 以管理员身份运行命令提示符,执行以下命令:

      netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434

      (放行 Ollama 默认端口 11434)‌

  2. 验证防火墙规则

    • 检查端口是否放行成功:

      netsh advfirewall firewall show rule name="Ollama"

      (输出需包含 Enabled=Yes 和 Action=Allow)‌


三、验证非本机访问

  1. 局域网设备测试

    • 执行命令 ipconfig 查看本机 IPv4 地址(如 192.168.1.100)。
    • 在其他设备的浏览器或命令行中访问:
      curl http://[Windows主机IP]:11434/api/tags

      (若返回模型列表,则配置成功)‌

  2. 可视化工具验证(可选)

    • 使用 Open WebUI 或 LobeChat 等工具,输入 http://[Windows主机IP]:11434 作为 Ollama 服务地址进行连接 ‌。

四、常见问题解决

  • 报错 Server connection failed‌:
    检查环境变量 OLLAMA_HOST 和 OLLAMA_ORIGINS 是否配置正确,并重启服务 ‌。
  • 端口占用或冲突‌:
    使用 netstat -ano | findstr 11434 确认端口未被其他进程占用 ‌。

五、公网共享(可选)

  1. 内网穿透工具部署

    • 使用 ngrok 将本地服务映射至公网:

      ngrok http 11434 # 映射 Ollama 服务
    • 生成公网链接(如 https://xxx.ngrok.io)共享给外部用户。
  2. 域名绑定(高级)

    • 若已备案域名,可通过路由器或云服务商配置端口转发,将域名指向服务器 IP。

注意事项

  • 开放 0.0.0.0 会暴露服务至公网,建议内网使用时结合 IP 白名单或 VPN 提升安全性 ‌。
  • 若修改了模型存储路径(OLLAMA_MODELS),需确保目录权限允许网络访问 ‌。
  • 内网穿透需谨慎暴露公网端口,建议配置 HTTPS 加密和 IP 白名单‌。
  • 定期清理 AnythingLLM 的无效文档,避免存储空间占用过高‌

超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人的更多相关文章

  1. Activity状态图、生命周期图(超详细),onSaveInstanceState只保存、恢复基本ui数据,持久数据不在这里保存。

    1.Activity状态图 2.Activity生命周期简图 启动Activity: onCreate()—>onStart()—>onResume(),Activity进入running ...

  2. 超详细cordova环境配置(windows)及实例

    摘要: 最近闲来无事就把以前做的cordova项目整理了下,发现网上很少有详细完整的配置教程,所以自己就总结了下分享给大家. 项目地址:https://github.com/baixuexiyang/ ...

  3. (企业面试部分)超详细思路讲解SQL语句的查询实现,及数据的创建。

    企业面试部分详细的SQL问题,思路讲解 第一步:创建数据库表,及插入数据信息 --Student(S#,Sname,Sage,Ssex) 学生表 CREATE TABLE student( sno ) ...

  4. 超详细思路讲解SQL语句的查询实现,及数据的创建。

    最近一直在看数据库方面的问题,总结了一下SQL语句,这是部分详细的SQL问题,思路讲解: 第一步:创建数据库表,及插入数据信息 --Student(S#,Sname,Sage,Ssex) 学生表 CR ...

  5. 超详细从零记录Hadoop2.7.3完全分布式集群部署过程

    超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程.包含,Ubuntu服务器创建.远程工具连接配置.Ubuntu服务器配置.Hadoop文件配置.Had ...

  6. Nginx实战部署常用功能演示(超详细版),绝对给力~~~

    前言 上次分享了一些开发过程中常用的功能,但如果到真实环境中,其实还需要一些额外的配置,比如说跨域.缓存.配置SSL证书.高可用等,老规矩,还是挑几个平时比较常用的进行演示分享.上篇详见Nginx超详 ...

  7. 超详细动手搭建一个Vuepress站点及开启PWA与自动部署

    超详细动手搭建一个Vuepress站点及开启PWA与自动部署 五一之前就想写一篇关于Vuepress的文章,结果朋友结婚就不了了之了. 记得最后一定要看注意事项! Vuepress介绍 官网:http ...

  8. Linux系统部署JavaWeb项目(超详细tomcat,nginx,mysql)

    转载自:Linux系统部署JavaWeb项目(超详细tomcat,nginx,mysql) 我的系统是阿里云的,香港的系统,本人选择的是系统镜像:CentOS 7.3 64位. 具体步骤: 配置Jav ...

  9. 【C#】C#中使用GDAL3(二):Windows下读写Shape文件及超详细解决中文乱码问题

    转载请注明原文地址:https://www.cnblogs.com/litou/p/15035790.html 本文为<C#中使用GDAL3>的第二篇,总目录地址:https://www. ...

  10. 转帖: 一份超全超详细的 ADB 用法大全

    增加一句 连接 网易mumu模拟器的方法 adb  connect 127.0.0.1:7555 一份超全超详细的 ADB 用法大全 2016年08月28日 10:49:41 阅读数:35890 原文 ...

随机推荐

  1. 【Python】【爬虫】【爬狼】002_自定义获取网页源码的函数

    在上一篇笔记([Python][爬虫系列][爬狼]001_urllib_get_获取响应结果页面代码 - 萌狼蓝天 - 博客园 (cnblogs.com/mllt))我们将一个网页,解析为了文档(源码 ...

  2. 龙哥量化:TB交易开拓者_趋势跟踪策略_多策略对单品种_A00011880206期货量化策略,严格的用样本内参数, 跑样本外数据,滚动测试未来行情

    如果您需要代写技术指标公式, 请联系我. 龙哥QQ:591438821 龙哥微信:Long622889 也可以把您的通达信,文华技术指标改成TB交易开拓者的自动交易量化策略. 量化策略介绍 投资标的: ...

  3. Qt编写物联网管理平台45-采集数据转发

    一.前言 本系统严格意义上说是一个直连硬件的客户端软件,下面接的modbus协议的设备直接通过网络或者串口和软件通信,软件负责解析数据和存储记录.有时候客户想要领导办公室或者分管这一块的部门经理办公室 ...

  4. Qt数据库应用22-文件编码格式识别

    一.前言 在做数据导入导出的过程中,如果应用场景多了,相信各位都会遇到一个问题就是文件编码的问题,有些文件是ANSI编码,有些是utf8编码,有些又是utf8带bom编码,不同的文件编码如果都用同一种 ...

  5. Qt编写安防视频监控系统33-onvif云台控制

    一.前言 云台控制也是onvif功能中最常用的,最常用的功能排第一的是拿到视频流地址,排第二的就是云台控制了,云台控制的含义就是对带云台的摄像机进行上下左右的移动,一般云台摄像机都是带有一个小电机,一 ...

  6. [LC735]行星碰撞

    题目描述 给定一个整数数组 asteroids,表示在同一行的行星.对于数组中的每一个元素,其绝对值表示行星的大小,正负表示行星的移动方向(正表示向右移动,负表示向左移动).每一颗行星以相同的速度移动 ...

  7. jdk8之stream原理及流创建、排序、转换等处理

    目录 一.为什么需要 Stream 二.什么是流 三.流的分类 1.有多种方式生成 Stream Source 2.流的操作类型 四.流的创建 1.数组和集合创建流 2.基本数值型流 3.数值流的构造 ...

  8. layui table表格单元格动态合并,并设置隔行变色

    layui table表格单元格动态合并,并设置隔行变色,此代码只针对嵌套数组只有一层的时候有效,多个数组嵌套还在冥想当中!! 需求描述 我们知道在layui插件官方平台有个可以无限极单元格合并的模块 ...

  9. System类、Math类、BigInteger与BigDecimal的使用

     System类代表系统,系统级的很多属性和控制方法都放置在该类的内部.该类位于java.lang包. 由于该类的构造器是private的,所以无法创建该类的对象,也就是无法实例化该类.其内部的成 ...

  10. react声明周期详解

    react的生命周期,分为3三个阶段, 挂载阶段 constructor(){} UNSAFE_componentWillMount(){} == componentWillMount(在17版本中将 ...