大家好,我是编程乐趣。

DeepSeek大火,网络上也看到很多人分享本地部署心得。但想要更细了解,还是要自己本地部署一次。

我这次部署目标,就是在局域网服务器部署,并让局域网其他电脑可以直接访问。

选择方案也是当前非常流行的:Ollma+Page Assist浏览器插件。

一、安装Ollama

Ollama作为本地部署大模型的方案,还是非常不错的。

1、跨平台:支持 macOS、Linux 和 Windows。

2、市面主流开源模型都支持:包括Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2等54个开源模型。

3、REST API:Ollama提供对外API能力,想要自己开发客户端、或者集成到应用系统都是非常方便的。

4、生态完善:众多开源Web项目、开源桌面软件支持Ollama,还有终端工具、移动应用、开发工具库等开源项目。

下载地址:https://ollama.com/download

安装Ollama还是比较简单的,下载安装包后,直接安装就行。我这边选择的是Windows版本。

二、修改Ollama默认配置

Ollama安装后,我们还需要根据需求修改对应的配置。

我们使用Ollama时,需要从网络下载大模型,默认存储在C盘,很容易导致C盘空间不足。

可以通过修改系统环境变量,来修改配置。

添加环境变量:OLLAMA_MODELS,并指定模型路径。

添加环境变量:OLLAMA_HOST,并允许外部访问,这边填写:0.0.0.0,代表允许任何电脑访问。

修改配置后,记得重启Ollama。

我暂时就需要这两个,其他更多配置信息,大家可以查看官方文档:

https://github.com/ollama/ollama/tree/main/docs

三、下载并安装模型

Ollama支持模型非常多,我们这边选择的是:deepseek-r1

选择对应的模型,我们就可以看到模型的相信介绍、各种参数的模型。

各个版本模型对硬件要求,官方没有明确的说明,根据网友分享的大概整理如下,大家可以根据自己的电脑配置选择模型。

安装模型也很简单,选择对应版本的模型,拷贝命令就行。

比如安装7b的命令如下:

ollama run deepseek-r1:7b

在命令窗口输入以上命令,就会自动下载。

耐心等待,等出现success就代表安装成功了。

安装成功后,我们就可以直接在命令窗口进行使用了。

同时在浏览器访问:http://127.0.0.1:11434,有如下提示也代表启动成功了。

四、API调用

Ollama也为我们提供API接口功能,想要自己开发客户端、或者集成到应用系统都是非常方便的。

Ollama相关生态也非常完善,我们直接使用C#版本Ollama的SDK,就可以快速开发,下面一起看看简单例子。

1、安装依赖包:OllamaSharp

2、示例代码

using Microsoft.Extensions.AI;
using OllamaSharp; Uri modelEndpoint = new("http://localhost:11434"); //指定模型
string modelName = "deepseek-r1:14b"; var chatClient = new OllamaApiClient(modelEndpoint, modelName); //提问
string question = "我是编程小白,应该如何学习编程?";
var response = chatClient.GetStreamingResponseAsync(question); Console.WriteLine($">>> 你: {question}");
Console.Write(">>>");
Console.WriteLine(">>> DeepSeek: "); //输出
await foreach (var item in response)
{
Console.Write(item);
} Console.ReadLine();

3、效果如下

Ollama相关的API接口,也可以查看官方文档。

https://github.com/ollama/ollama/blob/main/docs/api.md

五、Ollama的客户端

在命令窗口使用DeepSeek,肯定是不方便的。自己开发客户端,又需要大量时间。

Ollama的客户端是非常众多的,而且都是开源的项目,包括:Web网页版本、桌面应用、浏览器插件、移动端APP等。

每一个客户端提供的功能也非常丰富,并且都不一样,包括:OCR图片识别、语音识别、文档解析等。

大家可以根据自己的需求自行选择。

https://github.com/ollama/ollama

六、Page Assist浏览器插件

我这边的是选择浏览器插件,比较灵活。

在Chrome应用商店,安装浏览器插件:Page Assist。

安装后打开插件,把语音识别、界面语音修改为中文,方便我们使用。

修改Ollama的配置:

1、Ollama URL修改为Ollama服务器的地址。

2、在Ollama 高级配置中,启用:启用或禁用自定义来源 URL,这样才能访问。

Ollama服务器需要关闭防火墙,或者在入站规则里开启端口:11434。

完成以上配置后,我们就可以使用了。

使用的时候,选择对应的模型版本就可以了。

好了,今天就分享到这边!

- End -

文章首发于公众号【编程乐趣】,欢迎大家关注。

一文掌握DeepSeek本地部署+Page Assist浏览器插件+C#接口调用+局域网访问!全攻略来了!的更多相关文章

  1. 在net安装程序中部署oracle客户端全攻略

    在net安装程序中部署oracle客户端全攻略 主要的是要做三件工作: 打包文件,写注册表,注册环境变量说明:我的oracle版本为9, 在2000 advanced server 上测试通过,可以正 ...

  2. 2020最新nginx+gunicorn+supervisor部署基于flask开发的项目的生产环境的详细攻略

    本攻略基于ubuntu1804的版本,服务器用的华为云的服务器,python3(python2已经在2020彻底停止维护了,所以转到python3是必须的)欢迎加我的QQ6398903,或QQ群讨论相 ...

  3. Windows7&IIS7.5部署Discuz全攻略

    组长说在内网部署一个论坛,这可难不倒我,装个Discuz嘛.部署环境就一台普通的PC,四核i3,Windows7.这就开搞了. 准备工作 系统是Windows 7 专业版,自带IIS7.5(家庭版不带 ...

  4. 华为云linux服务器部署TensorFlow-gpu全攻略

    最近在玩谷歌新开源的自然语言模型bert,最开始是在google的免费GPU上面来弄的(这个部分其实也是可以写一个教程的,中间坑也挺多).但谷歌比较坑人,小数据集还行,大点的数据集训练耗费时间长,再加 ...

  5. Testlink部署全攻略

    部署前准备: xampp,我下载的链接:https://www.apachefriends.org/download.html Testlink,下载地址:https://sourceforge.ne ...

  6. Java文档注释全攻略

    注释:注释起到对代码标注和解释的作用,如果你去看看JDK源码,会发现他们有许多的注释,而且注释是比代码还要多的,可见为代码添加注释是非常重要的,写好注释能让别人更加容易看懂你的代码,注释可以分为以下三 ...

  7. 和阿文一起学H5--设计稿尺寸全攻略

  8. Exceptionless 本地部署

    免费开源分布式系统日志收集框架 Exceptionless 前两天看到了这篇文章,亲身体会了下,确实不错,按照官方的文档试了试本地部署,折腾一番后终于成功,记下心得在此,不敢独享. 本地部署官方wik ...

  9. ArcGIS API for JavaScript 4.x 本地部署之Nginx法

    上篇ArcGIS API for JavaScript 4.x 离线配置之IIS法提到,如何用IIS配置ArcGIS jsAPI: 本篇则使用http下的Nginx配置,其原理基本一致.https的部 ...

  10. ArcGIS API for JavaScript开发笔记(一)——ArcGIS for Javascript API 3.14本地部署

    堪称史上最详细的< ArcGIS forJavascript API 3.14本地部署>文档,有图有真相~~~ ---------环境:Windows server 2012R2,IIS ...

随机推荐

  1. DevEco Studio 实战第一节:字符串拼接与组件构建

    DevEco Studio 实战第一节:字符串拼接与组件构建 引言 在现代软件开发中,TypeScript 提供了强类型的优势,而 DevEco Studio 作为华为推出的开发集成环境,提供了便捷的 ...

  2. Javascript 常用封装(二)

    1.字符串占位宽度 计算占位宽度:字符串的占位宽度除了涉及到具体的字符串内容,还与字体大小有关,可以将其放入Dom中来获取实际占位宽度 //计算字符串的占位宽度 function getTextWid ...

  3. OSG开发笔记(三十七):OSG基于windows平台msvc2017x64编译器官方稳定版本OSG3.4.1搭建环境并移植Demo

    前言   自行编译的osg版本插件比较多,如果对版本没有特定要求,但是对环境编译器有特定要求,可以反向融合编译器符合要求的osg版本.   OSG下载过程   osg官网:http://www.osg ...

  4. Vite项目无法通过IP+端口的方式访问开发服务

    前情 最近要新开一个项目,技术栈由自己安排,于是就想到使用vue3+vite来做,体验一把新技术栈 坑位 vite开发体验极佳,但是在项目完成的时候,想通过本地服务提前发给产品确认UI.交互等细节的时 ...

  5. Centos使用图形化界面配置网络

    1. 查看当前ip地址 # ip addr 2. 图形化界面配置网卡 # nmtui 界面提示,左右上下配置,OK即可.

  6. 不错的AI项目集合

    最近收集了一些不错的AI项目. AutoGPT:AutoGPT 的愿景是让每个人都可以使用和构建无障碍 AI.我们的使命是提供工具,以便您可以专注于重要的事情. Stable Diffusion we ...

  7. Redis应用—7.大Value处理方案

    大纲 1.⽅案设计 2.安装与配置环境 1.⽅案设计 步骤一:首先需要配置一个crontab定时调度shell脚本,然后该脚本每天凌晨会通过rdbtools⼯具解析Redis的RDB⽂件,接着对解析出 ...

  8. 【Vue】vite+vue3 如何实现点击进入详情页/文章页

    如上图,点击标题可以进入详情页,关键代码截图如下: 然后去配置路由 那么组件如何从地址中接收参数呢

  9. Mac中nginx的默认安装路径和启动方式

    1.安装完以后,可以在终端输出的信息里看到一些配置路径: /usr/local/etc/nginx/nginx.conf (配置文件路径) /usr/local/var/www (服务器默认路径) / ...

  10. 【深度剖析】自主可控的全国产方案,基于龙芯LS2K1000LA-i!

    龙芯LS2K1000LA-i产品简介 LS2K1000LA-i是龙芯双核LoongArch LA264自主架构处理器.创龙科技基于LS2K1000LA-i设计的工业核心板(SOM-TL2K1000)板 ...