技术背景

在前面的几篇博客中,我们分别介绍过在Ubuntu上部署DeepSeek在Windows上部署DeepSeek使用AnythingLLM构建本地知识库的方法,其中还包含了ChatBox的基本安装和使用。这里我们要介绍的是PageAssist,一个包含了大模型Chat、网络检索和知识库搭建的浏览器插件,不依赖于操作系统,而且功能配置非常丰富,可玩性很高,推荐使用。

安装PageAssist

访问PageAssist官网,点击install now:

添加到chrome:

点击插件图标:

第一个图标是固定到任务栏的意思,固定以后就可以直接在任务栏打开PageAssist窗口:

PageAssit设置

打开右上角的设置Settings按钮,先设置一个中文语言:

根据自己的需求,配置一下网络访问(国内一般设置搜索引擎为百度或者搜狗,但是百度里面可能会有广告):

在RAG设置里面设置本地Ollama的Embedding模型,比如nomic-embed-text,本地没有该模型的可以去模搭下载一个GGUF模型文件,参考这篇文章里面的方法进行本地模型构建,或者直接运行ollama pull nomic-embed-text从Ollama的官方Hub里面下载该模型文件。

配置本地的大模型是在Ollama设置里面配置url:

如果只有本地的模型,用默认配置就可以了。在Ollama设置里面还可以支持很多细节设置,可以按照自己本地的硬件条件进行设置(不能使用中文,我这里特地改成英文查看下单位设置):

在这里可以手动配置加载进GPU的模型层数num_gpu,和回答的严谨程度temperature等,对于模型的性能提升和场景适配非常有帮助,配置完要记得保存。

在PageAssist里面还可以直接管理模型,例如拉取某个模型,或者删除某个本地模型(谨慎操作):

然后也可以像前一篇文章文章里面提到的,可以部署本地知识库:

PageAssit里面支持按照提示词进行对话分类,这个特点就有点像ChatBox里面不同的角色,可以进行不同风格的记忆和回答:

测试

选择一个模型,开始聊天:

可以用一些比较有时效性的问题进行网页浏览测试,例如“北京最近7天的天气怎么样?”:

在回答的末尾还可以看到他的citation:

在最底下这一行的按钮里面,可以查看每一次回答的tokens的速度:

建议模型的tokens速度要达到5 tokens/s以上,使用体验才会好一些,如果速度低于1 tokens/s,用起来会很难受。

总结概要

这篇文章主要介绍了通过使用PageAssist,来使得本地部署的DeepSeek模型可以联网搜索的方案。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/ds-pa.html

作者ID:DechinPhy

更多原著文章:https://www.cnblogs.com/dechinphy/

请博主喝咖啡:https://www.cnblogs.com/dechinphy/gallery/image/379634.html

DeepSeek+PageAssist实现本地大模型联网的更多相关文章

  1. 无插件的大模型浏览器Autodesk Viewer开发培训-武汉-2014年8月28日 9:00 – 12:00

    武汉附近的同学们有福了,这是全球第一次关于Autodesk viewer的教室培训. :) 你可能已经在各种场合听过或看过Autodesk最新推出的大模型浏览器,这是无需插件的浏览器模型,支持几十种数 ...

  2. PowerDesigner 学习:十大模型及五大分类

    个人认为PowerDesigner 最大的特点和优势就是1)提供了一整套的解决方案,面向了不同的人员提供不同的模型工具,比如有针对企业架构师的模型,有针对需求分析师的模型,有针对系统分析师和软件架构师 ...

  3. PowerDesigner 15学习笔记:十大模型及五大分类

    个人认为PowerDesigner 最大的特点和优势就是1)提供了一整套的解决方案,面向了不同的人员提供不同的模型工具,比如有针对企业架构师的模型,有针对需求分析师的模型,有针对系统分析师和软件架构师 ...

  4. 华为高级研究员谢凌曦:下一代AI将走向何方?盘古大模型探路之旅

    摘要:为了更深入理解千亿参数的盘古大模型,华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦.谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的"前世今生",以及它背后的艰难 ...

  5. 文心大模型api使用

    文心大模型api使用 首先,我们要获取硅谷社区的连个key 复制两个api备用 获取Access Token 获取access_token示例代码 之后就会输出 作文创作 作文创作:作文创作接口基于文 ...

  6. AI大模型学习了解

    # 百度文心 上线时间:2019年3月 官方介绍:https://wenxin.baidu.com/ 发布地点: 参考资料: 2600亿!全球最大中文单体模型鹏城-百度·文心发布 # 华为盘古 上线时 ...

  7. 千亿参数开源大模型 BLOOM 背后的技术

    假设你现在有了数据,也搞到了预算,一切就绪,准备开始训练一个大模型,一显身手了,"一朝看尽长安花"似乎近在眼前 -- 且慢!训练可不仅仅像这两个字的发音那么简单,看看 BLOOM ...

  8. DeepSpeed Chat: 一键式RLHF训练,让你的类ChatGPT千亿大模型提速省钱15倍

    DeepSpeed Chat: 一键式RLHF训练,让你的类ChatGPT千亿大模型提速省钱15倍 1. 概述 近日来,ChatGPT及类似模型引发了人工智能(AI)领域的一场风潮. 这场风潮对数字世 ...

  9. 超详细!搭建本地大数据研发环境(16G内存+CDH)

    工欲善其事必先利其器,在经过大量的理论学习以后,需要有一个本地的研发环境来进行练手.已经工作的可以不依赖于公司的环境,在家也可以随意的练习.而自学大数据的同学,也可以进行本地练习,大数据是一门偏实践的 ...

  10. 图神经网络之预训练大模型结合:ERNIESage在链接预测任务应用

    1.ERNIESage运行实例介绍(1.8x版本) 本项目原链接:https://aistudio.baidu.com/aistudio/projectdetail/5097085?contribut ...

随机推荐

  1. 你想有多pwn

    第一章 1.1 认识程序 file.ldd 1.2 gdb调试 一.指令 1.start.run 2.断点 设置断点 b mian.b *0x123456 查看断点 info b.i b 让断点失效 ...

  2. Asp.net MVC中的Http管道事件为什么要以Application_开头?

    今天遇到一个问题,需要在API请求结束时,释放数据库链接,避免连接池被爆掉. 按照以往的经验,需要实现IHttpModule,具体不展开了. 但是实现了IHttpModule后,还得去web.conf ...

  3. 《JavaScript 模式》读书笔记(5)— 对象创建模式3

    这一篇,我们主要来学习了解下沙箱模式以及静态成员的相关内容. 五.沙箱模式 沙箱模式(sandbox pattern)解决了命名空间模式的如下几个缺点: 对单个全局变量的依赖变成了对应用程序的全局变量 ...

  4. VTK 9.2 Qt 5.14 安装及错误处理

    参考VTK9.1.0在Windows10+VS2019+Qt 5.15.2环境下编译安装以及VTK应用于QT_vtk-qt安装包_isongxw的博客-CSDN博客 安装注意:编译release和de ...

  5. R数据分析:冲击流图与热图的做法以及多图布局

    今天看了一篇新冠肺炎相关后遗症的文章,主要探讨新冠住院病人一年后的后遗症情况,文章的统计分析很简单,不过结果展示中的两个图我觉的大家可以学一学,原文如下 Rivera-Izquierdo, M., L ...

  6. 【Linux】ps -ef|grep -v grep|awk '{print $2}' 命令详解

    前言 在Linux服务器中使用脚本时,经常见到ps -ef|grep xxx|grep -v grep|awk '{print $2}'这一句命令 前半部分的ps -ef|grep命令,相信经常接触L ...

  7. "有邻"创始人:APP覆盖杭州千余小区 却还没认真想过赚钱的事

    "远亲不如近邻",常被社区经济"掘金者"拿来做开场语. 在杭州,有不少互联网创业企业在深挖社区经济,例如社区O2O服务平台.杨仁斌也看中了"社区&qu ...

  8. Qt编写可视化大屏电子看板系统20-横向分组图

    一.前言 横向分组图是柱状分组图的横向展示,有了横向柱状图加上分组图的绘制经验,这个做起来就比较简单了,横向的设置规则按照横向柱状图来,分组的规则按照柱状分组图的算法来,在横向的柱子中要绘制对应的值, ...

  9. UML之集合类型

    无论何时当我们要使用一个多值对象时,我们必须要清楚两个问题,一是这些值的顺序重要吗?二是允许重复值的存在吗?在编程语言中还会有其他的明确的信息,在UML中,只需明确这两个问题的答案即可确定对应的集合类 ...

  10. UWP 读写文件

    List<Pics> pics = new List<Pics>(); for (int i = 0; i < 2000; i++) { pics.Add(new Pic ...