大家新年好呀,年初二给各位拜年啦,祝各位新年身体健康,工作顺利,万事如意,开心快乐每一天!
  前言:
  这几天看到很多DeepSeek的热点新闻(火的不行呀),去了解下这个AI,然后自己试了下本地部署,发现挺简单的,所以记录一下,这里示例的是最简单的方式,没有使用到Docker容器,也不需要魔法上网,计算机小白按照步骤点点点也可以独立完成部署。
 
  本地化部署的好处:
  不用排队,响应快,不怕DeepSeek服务关闭了导致无法使用。
  隐私性强,不用担心自己的数据会被上传到第三方。
  可以自由投喂训练数据,生成专属于自己的大模型。
 
  • 准备工具

  Ollama:用于简化大型语言模型(LLM)的本地部署和使用,可以同时支持多个大模型,开发者能够方便地在本地环境中运行和测试不同的语言模型,简单的说就是相当于一个容器。

  官网地址:https://ollama.com/

  ChatBox AI:一款用于接入各种大模型的客户端,可以在使用大模型AI时更方便、美观。就是一个UI客户端,用起来更方便快捷。

  官网地址:https://chatboxai.app/zh

  • 下载安装Ollama

  首先先下载Ollama,进入官网,官网地址:https://ollama.com/,点击Download

  这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载

  这里有些朋友可能会遇到无法下载的问题,我刚开始用IDM下载也卡在90%就一直下不下来,这里提供我下载好的软件包给大家

百度网盘链接:https://pan.baidu.com/s/1kFH3wUKLdorENBMV57O6CQ
提取码:kbls

  下载好了就是安装了,注意Ollama默认安装是在C盘的,以及下载的大模型数据包也是默认在C盘,所以一定要注意自己C盘的存储空间够用,当然我们也有方式改变他的安装路径的(看这里https://www.cnblogs.com/LaiYun/p/18696931),如果不想折腾的可以直接点击安装就可以了。

  然后Ollama就会进入安装,点击Install后,Ollama安装好了就会自动启动。

  安装好Ollama后Windows+R,输入CMD进入命令窗口

  输入:ollama -v  有版本号就说明安装好了,在任务栏右下角有个羊驼的图标。

  • 下载DeepSeek R1模型

  在Ollama官网点击Models,选择deepseek-r1

  这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里我选择的是第一个最小的模型。数字越大,代表参数越多,所需资源也越多,1.5b=15亿参数,其他自己换算下,对应的资源和模型我放个图,大家自己对应下。

  感兴趣的自己看看这个对应的模型所需的性能:https://apxml.com/posts/gpu-requirements-deepseek-r1

  如图所示,复制Ollama选中模型对应的下载命令。

  粘贴到命令窗回车执行,如果有报错,就再粘贴一次然后再回车执行。有时网络不稳定是会这样。

  然后回车开始下载,这里略过下载过程,这里是下载完成后的截图,下载完成后就可以提问了,没想到这么简单吧,哈哈哈。

   但是这样在CMD窗口使用很不方便和美观,接下来我们就会用到ChatBox接入大模型了。

  •  安装ChatBox AI并接入DeepSeek

  下载ChatBox AI,https://chatboxai.app/zh,也可以使用网页版的,这里我下载了客户端,安装过程略过。

  选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。

  到了这里,我们进行提问,可能会遇到报错。

  这里我们点击我的电脑,右键属性-->高级系统设置-->环境变量

  新建两个环境变量

  OLLAMA_HOST:0.0.0.0

  OLLAMA_ORIGING:*

  设置完环境变量后退出一下Ollama,然后重新启动下Ollama。

  重启Ollama

  • 开始提问

  回到ChatBox,到这里就可以开始提问啦,但是我下载的这个是最小的模型,貌似知识库有点旧,我问了今天是几月几日,他回答是2023年1月27日,实际今天是2025年1月30日,实际推理能力我没测试,大家可以试试。

  到这里就完成全部本地化部署了。

  • 删除大模型资源包

  再讲下如何删除大模型数据包,因为可能有的朋友不听劝或者没注意看模型所需资源要求,导致下载了与自己电脑资源不对应的模型包,电脑无法跑起来,这时候需要删除模型资源包。

  打开CMD命令窗口,输入:Ollama list

  

  这样就会显示你安装了的所有大模型资源包,复制对应的大模型资源包名称

  再输入:ollama rm deepseek-r1:1.5b

  语法:ollama rm 模型资源包名称

  

  删除完后,再输入Ollama list查看下大模型资源包确认下是否删除,如果没有了大模型资源包的名称了,就确认是完全删除了,到这里大模型资源包就完全删除了,然后Ollama可以在Windows系统程序那里找到正常卸载。

  如果需要在外网使用,大家可以查下如何做内外网穿透。

  还有一个在线调用DeepSeek API的教程,就是在ChatBox这里选择DeepSeek,然后放入自己的DeepSeek API的Key就可以了,现在注册DeepSeek有免费500万token送,但仅限一个月内使用。

  ChatBox还可以创建自己的智能体,输入智能体名称和人物设定就保存可以啦。

  其实还可以语音交流提问的,但这个就要用到Docker容器了,我没测试这方面,具体方式大家可以搜搜哈,也比较简单的。

  最后再附上DeepSeek的官网地址,不会折腾的小伙伴也可以直接使用官方联网的AI,手机上也可以搜索DeepSeek下载APP安装。

              DeepSeek官网地址:https://www.deepseek.com/

                        

                     撒花完结

                      

记录在本地电脑部署自己的DeepSeek 大模型AI的更多相关文章

  1. k8s记录-yum本地仓库部署

    #1.安装插件yum install -y yum-plugin-downloadonly createrepo rsync #2.创建仓库目录mkdir -p /mirrors/centos#3.下 ...

  2. Hadoop生态圈-Kafka的本地模式部署

    Hadoop生态圈-Kafka的本地模式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Kafka简介 1>.什么是JMS 答:在Java中有一个角消息系统的东西,我 ...

  3. 树莓派 Learning 002 装机后必要的操作 --- 10 实现本地电脑与远程桌面之间复制粘贴(传输)文件

    树莓派 装机后必要的操作 - 实现本地电脑与远程桌面之间复制粘贴(传输)文件 我的树莓派型号:Raspberry Pi 2 Model B V1.1 装机系统:NOOBS v1.9.2 PC端系统:w ...

  4. 远程kafka通信实例,各种bug解决----虚拟机+本地电脑

    为了实现远程kafka通信,我可谓是呕心沥血.期间各种bug各种调,太煎熬了 (T.T) 介绍: 我用一台虚拟机作为远程消息的发送方,用本地电脑主机作为消息的接收方 虚拟机:安装java,kafka, ...

  5. R shiny 小工具Windows本地打包部署

    目录 服务器部署简介 windows打包部署 1. 部署基本框架 2.安装shiny脚本需要的依赖包 3.创建运行shiny的程序 [报错解决]无法定位程序输入点EXTPTE_PTR于动态链接库 将小 ...

  6. 基于人人框架--本地项目部署流程(前后端+IIS上传功能)

    基于人人框架--本地项目部署流程(前后端+IIS上传功能) 一.环境要求 JAVA环境 JDK:1.8 IIS 本地电脑必须要有IIS服务 MySQL 数据库采用MySQL数据库,安装版本为 5.7. ...

  7. 如何在本地电脑安装phpmyadmin及访问地址

    因为要安装wordpress,上网查了下安装wordpress前要安装phpmyadmin,前提是要在自己本地电脑上安装APMSeverx虚拟主机才可以,在本地访问phpmyadmin页面.下面的步骤 ...

  8. unset是不能清除保存在本地电脑上的cookie的,用于session就可以(弄了半天原来是这样)

    unset($_COOKIE["historyWord[$wordId]"]); 这样是不行的,unset只是将变量在脚本运行时注销,但是cookie是写在客户端的,下一次还是可以 ...

  9. 同台电脑部署多组Tomcat负载均衡(或集群)

    可能这种需求比较少见,不过如果手上服务器不够用.可以考虑先这么干着.. 具体Tomcat怎么搭集群,就不在这细说了.只写同台电脑部署多组集群需要修改和注意的地方. 一.Apache 先是Apache, ...

  10. 本地git部署web连接azure的git存储库

    ​​​本地git部署web 创建本地存储仓库 输入以下命令创建git本地仓库(会在当前目录下生产一个.git的目录) git init 然后提交内容 在git仓库所在的目录下存放好需要的网页文件 将文 ...

随机推荐

  1. php子孙树生成层级-递归篇

    毫不废话,代码如下: <?php $list = [ ['id' => 1, 'pid' => 0, 'name' => '江苏'], ['id' => 2, 'pid' ...

  2. 卸载php8后导致php7.4不能被apache解析了

    今天突然发现web页面不能解析了,直接返回php代码了,想起来可能是由于不小心更新过apt 源,有一次安装了php8,后来又卸载,导致的,查了一下,发现是libapache2-mod-php没安装. ...

  3. php 安装使用 seaslog扩展

    这是一个高性能的日志记录扩展,能迅速帮你格式化的写入日志文件. 首先来看安装: sudo pecl install seaslog 一句话搞定,然后更新php.ini配置文件 添加启用以及一部分配置 ...

  4. Liunx-Shell脚本

    shell可以理解为对命令行的一个解释器,命令行输入命令,shell执行,linux系统输出结果 1. shell脚本格式 开头: #!/bin/bash #!告诉系统其后路径所指定的程序即是解释此脚 ...

  5. PasteEx:一款.NET开源的Windows快捷粘贴神器

    前言 PasteEx是一款.NET开源的用于增强 Windows 粘贴功能的小工具,它解决了将剪贴板内容保存为文件的繁琐步骤.无需打开记事本等应用,它可直接将文字.图片等内容粘贴到桌面上,极大提升了效 ...

  6. Vue日常使用与常见问题

    使用: 1.在使用elementUI自定义表格中字段样式 官方文档:https://element.eleme.cn/2.10/#/zh-CN/component/table # 基础使用 <t ...

  7. qiankun 的 JS 沙箱隔离机制

    为什么需要JS沙箱 想象一下 当一个应用(比如应用 A)加载时,可能会对 window 对象的属性进行修改或添加.如果不加控制,这些修改会影响到之后加载的其他应用(比如应用 B),就会导致属性读写冲突 ...

  8. GooseFS 统一命名空间 | 加速存储业务访问

    01 前言 ​ GooseFS是 腾讯云存储团队推出的分布式缓存方案,主要针对需要缓存加速的数据湖业务场景,提供基于对象存储COS服务的近计算端数据加速层. 统一命名空间是GooseFS提供的透明命名 ...

  9. 【Java】【SpringBoot】CP03:热部署

    This article is written by Xrilang(Chinese Name:萌狼蓝天) If you want find me ,You can contact me in Bil ...

  10. library initialization failed - unable to allocate file descriptor table - out of memoryAborte

    问题描述: 使用Docker run container 的时候, 容器在启动几秒后自动退出 , 或者不退出,但里面的服务无法启动成功. 此例的服务是用 java -jar 来启动一个服务. 使用 d ...