在搭建AI知识库这事儿上,有不少成熟的框架,我推荐使用FastGPT。这篇文章笔者就使用过的两款平台做个比较,FastGPT和百度千帆平台。

1. 为什么要搭建知识库

随着企业的运营,企业的私有数据越来越多(结构化、半结构化、非结构化的数据)。这么多数据,我们不可能都记在大脑里,就算老员工能记住,那对于一个新人来说如何快速上手呢?

所以搭建知识库就成了刚需。得益于LLM(大模型)的发展,让AI可以更好的理解自然语言,再加上向量数据库的检索,让许多沉睡的知识可以被唤醒。

企业可以通过搭建知识库提高工作效率,提升服务质量,还可以基于知识做出更好的决策。

2. 技术方案

2.1. 我推荐的方案

LLM存在幻觉问题,对于它不知道的知识会胡编乱造,可靠性差。所以在搭建知识库的技术方案上,一般有2个争论:

  1. 企业自己微调大模型。
  2. 使用RAG检索增强技术。

微调大模型,就是将已有的知识喂给LLM,让LLM学习。暂不说这种方式的安全性如何。单单从模型迭代的角度来看就不合适。

不管是部署开源模型 还是 采用闭源模型,随着时间的推移,模型的迭代非常快,模型会越来越聪明。模型每14天都会小迭代一次。迭代之后,之前投喂的数据会失效,而且之前做过的优化,会随着模型能力变强后,会变成无用功。

所以,我更推荐RAG技术。检索增强生成(Retrieval Augmented Generation,RAG)是一种强大的工具,它可以将企业的私有知识 通过LLM + 外接向量数据库的方式整合到一起。

2.2. 常规步骤

技术方案选定后,我们常规的搭建知识库的步骤如下:

文档加载 → 文档分割 → 文档嵌入 → 向量化存储 → 文档检索 → 生成回答

2.3. 两个主角

方案和步骤有了,下面看看选哪种框架。业内用LLM做知识库的方案较多,比如FastGPT、Dify、自己基于LangChain开发、百度的千帆平台等等。

本篇主要介绍FastGPT和 百度千帆平台。基于LangChain开发的方案之前的文章也介绍过,感兴趣的朋友自行翻阅之前的文章。

  • 百度千帆平台是百度推出的基于大模型的一站式应用解决方案平台,提供先进的生成式AI生产及应用全流程开发工具链。**主打一个一站式。**百度深耕AI多年,也是国内最早推出一站式平台的,整体还算方便。

  • FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!主打一个知识库问答。

下面就两个主角在知识库问答领域的效果做个比较

3. 使用比较

3.1. 操作界面

操作界面上都差不过,从首页,到上传文件到知识库,再到创建AI应用,操作都很简便。

我个人更喜欢FastGPT的页面风格,页面比较清爽,很明显地看到 知识库、创建大模型应用 这2个版块。

FastGPT

首页

创建知识库,将处理好的本地文档、网页、QA问答上传,然后利用词嵌入模型处理,再存入向量数据库。

创建AI应用

百度千帆

首页:

创建知识库,将处理好的本地文档、网页、QA问答上传,然后利用词嵌入模型处理,再存入向量数据库。

创建AI应用

3.2. 可选词嵌入模型

在文档嵌入这一步,需要选择词嵌入模型。FastGPT可以选择适合自己的模型,但是百度千帆没有选择项,只能用百度的模型。

FastGPT

3.3. 可选问答模型

在AI回答这一步,也需要用到大模型。FastGPT可以选择适合自己的模型,但是百度千帆没有选择项,只能用百度的模型。

FastGPT

百度千帆

3.4. 可以发布到的渠道

发布渠道这一局,算百度完胜了!百度千帆集成了多个发布渠道,使用感受较好。FastGPT相对来说就有点少了,而且还需要额外的搭建和部署。

FastGPT

百度千帆

3.5. 最终的回答效果和体验

他俩在正常的问答结果上都差不多,这个结果跟选择的词嵌入模型和问答模型有关。但是在使用的体验上,我有几点要吐槽:

  • FastGPT的对话框,历史对话消息不会丢失。但百度千帆的对话框刷新下,历史对话会丢失,这个体验感有点差。
  • 百度千帆的对话界面,不知道为什么非要突出老大一个图标和应用标题,几乎占了小半屏,导致对话内容的可见区域被压缩,此处我要@下百度的产品经理,请问你这么设计的目的是啥?

  • 对比看下FastGPT就很简洁,对话区域也很大,用起来比较舒适。

  • 百度千帆分享出去的网页必须要登录,这个有点恶心,没必要在这里强行拉一波注册吧。而FastGPT分享的网页免登即可使用。

3.6. 源码开放

FastGPT

FastGPT源码开放,可以自己搭建,模型也可以自己搭配。对于企业内部使用非常友好。

自行搭建的话,需要开发者介入。不过FastGPT也有云上的SaaS版本,按需付费使用,无需开发者介入。

百度千帆

百度千帆是百度的闭源产品,模型也是闭源,而且模型只能用百度。这个对于企业内部使用不友好。

无需开发者介入,稍微懂些产品,看下文档,即可使用。

3.7. 数据安全

如果从数据安全方面考虑,只能选择FastGPT了,所有的数据都可以存储在企业自己的服务器上。

4. 方案总结

总之,没有最优的方案,只有最合适的方案。

大部分场景下FastGPT都是比较胜任的。如果只考虑以最小代价快速实现一个知识库问答,我推荐使用百度千帆平台。其余情况,我推荐使用FastGPT。

在操作界面上、词嵌入模型上、问答模型上、对话体验和数据安全上,我觉得FastGPT都是很专业的。FastGPT的发力点就是在构建专业的知识库领域。

=====>>>>>> 关于我 <<<<<<=====

本篇完结!欢迎点赞 关注 收藏!!!

原文链接:https://mp.weixin.qq.com/s/D2s2Y0sndjc8oDA3ce1QRg

AI知识库这事儿FastGPT是专业的的更多相关文章

  1. 释放至强平台 AI 加速潜能 汇医慧影打造全周期 AI 医学影像解决方案

    基于英特尔架构实现软硬协同加速,显著提升新冠肺炎.乳腺癌等疾病的检测和筛查效率,并帮助医疗科研平台预防"维度灾难"问题 <PAGE 1 LEFT COLUMN: CUSTOM ...

  2. 学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退

    AI早期成就,相对朴素形式化环境,不要求世界知识.如IBM深蓝(Deep Blue)国际象棋系统,1997,击败世界冠军Garry Kasparov(Hsu,2002).国际象棋,简单领域,64个位置 ...

  3. AI小白快上车!这是发往高薪职位的车!

    欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯云AI中心发表于云+社区专栏 AI到底有多火?看看下面这组数据: 腾讯研究院<2017全球人工智能人才白皮书>报告中提 ...

  4. 智慧金融时代,大数据和AI如何为业务赋能

    前言:宜信技术人物专访是宜信技术学院推出的系列性专题,我们邀请软件研发行业的优秀技术人,分享自己在软件研发领域的实践经验和前瞻性观点. 第一期专访我们邀请到宜信科技中心AI中台负责人王东老师,从大数据 ...

  5. PPT领取 | 70+数据科学、架构演进等最佳实践限时放送

    上世纪1950年人工智能被提出,直至2016年AlphaGo战胜世界围棋冠军李世石后,人工智能迅速引起了全球的瞩目,并推动起全球科技的浪潮.自动驾驶.人脸识别.语音交互技术等“一拥而上”,众多AI科技 ...

  6. VS2017

    Visual Studio常用快捷键https://www.cnblogs.com/DonetRen/p/8182911.htmlVisual Studio 2017 Product Family S ...

  7. 云-腾讯云-云直播:云直播(LVB)

    ylbtech-云-腾讯云-云直播:云直播(LVB) 云直播(Live Video Broadcasting,LVB)依托腾讯多年的音视频技术平台,以及全球海量加速节点和领先的音视频 AI 技术,为开 ...

  8. Tengine AIFramework框架

    Tengine AIFramework框架 在开源大势下,以数据.算力.算法为三驾马车的人工智能实现了初级阶段的产业化落地.任何一个技术领域成熟的标志是从应用到平台的成功迭代,AI 也不例外,最终引导 ...

  9. 监督学习,无监督学习常用算法集合总结,引用scikit-learn库(监督篇)

    why写这篇blog 最近在接触这方面的知识,但是找了许多的笔记,都感觉没有很好的总结出来,也正好当做是边学习,边复习着走.大佬轻喷.参考书目<python机器学习基础教程> 将分别从以下 ...

  10. DCM:一个能够改善所有应用数据交互场景的中间件新秀

    摘要:几乎所有涉及应用数据交互的场景都可以通过DCM来改善应用结构,提升开发与计算效率. 本文分享自华为云社区<DCM:中间件家族迎来新成员>,作者: 石臻臻的杂货铺. DCM是什么 现代 ...

随机推荐

  1. 三元运算符 JAVA12

    Java 提供了一个特别的三元运算符(也叫三目运算符) 表示:条件运算符的符号表示为"? :",使用该运算符时需要有三个操作数,因此称其为三目运算符. 举例一 int x,y,z; ...

  2. 通过计算巢轻松部署 Walrus

    概述 Walrus 是一个用于管理和部署应用程序的平台,它提供了一个集中化的管理界面,使用户能够轻松地管理应用的生命周期,包括创建.配置.部署.监控和维护应用.Walrus 还提供了一些高级功能,如应 ...

  3. 7.12考试总结(NOIP模拟12)[简单的区间·简单的玄学·简单的填数]

    即使想放弃,也没法放弃最想要的东西,这就是人 前言 这次应该是和 SDFZ 一起打的第一场比赛吧. 然而我还是 FW 一个... 这次考试也有不少遗憾,主要的问题是码力不足,不敢去直面正解,思考程度不 ...

  4. vue-devtools

    今天分享个vue的开发者工具,vue2和vue3都可以使用 先来看个效果: 如何安装? 打开官网vue-devtools 选择你需要版本 安装完记得重启下浏览器,不然是没效果的

  5. kettle从入门到精通 第十五课 kettle 映射 (子转换)01

    1.kettle 里面的映射和java代码里面的封装是一个概念,就是将一个可复用的模块单独抽离为公共模块供其他模块引用,用到的步骤或者组件如下 2.构建子映射,子映射需要用到映射输入规范和映射输出规范 ...

  6. SQL SERVER 同一台服务器,A库正常连接,B库提示“等待的操作过时”

    SQL SERVER 同一台服务器,A库正常连接,B库提示"等待的操作过时" 解决方法: 在客户端(非SQL SERVER 服务器)用管理员身份运行CMD,输入netsh wins ...

  7. Promise 期约

    Promise 期约之前 回调地狱 设想这样一个经常发生的场景,我们希望处理Ajax请求的结果,所以我们将处理请求结果的方法作为回调传入,需要将请求结果继续处理,这就导致我们陷入了回调地狱 doSom ...

  8. 2024-06-15:用go语言,Alice 和 Bob 在一个环形草地上玩一个回合制游戏。 草地上分布着一些鲜花,其中 Alice 到 Bob 之间顺时针方向有 x 朵鲜花,逆时针方向有 y 朵鲜花

    2024-06-15:用go语言,Alice 和 Bob 在一个环形草地上玩一个回合制游戏. 草地上分布着一些鲜花,其中 Alice 到 Bob 之间顺时针方向有 x 朵鲜花,逆时针方向有 y 朵鲜花 ...

  9. Linux中的环境变量PS1,打造你的专属终端

    文章目录 介绍 PS1的格式 设置字体样式 举例 小建议 进阶 介绍 好看的终端是怎么做的呢?通过PS1这个环境变量! PS1的格式 PS1='[\u@\h \w]\$ ' 样式: 解释: [是普通字 ...

  10. 关于c指针的理解

    1 #include<stdio.h> 2 { 3 int a= 100,b=10; 4 int *p1=&a,*p2=&b; 5 *p1=b; 6 *p2=a; 7 pr ...