在日常生活中,用户会经常碰到很多复杂的规章制度、规则条款。比如:乘坐飞机时,能不能带宠物上飞机,3岁小朋友是否需要买票等。在工作中,也会面对公司多样的规定制度和报销政策。比如:商业保险理赔需要什么材料,工作几年可以排队办理?这些情况下,经常需要各种查询确定或者检索规章制度文件或说明,才能回复并解决用户的疑问。基于这类常见的业务场景,百度大脑UNIT3.0正式推出了对话式文档问答能力,更快速、低成本的搭建智能对话系统。

对话式文档问答是UNIT提供的一项创新技术,利用这项创新技术,开发者无需梳理意图、词槽,无需进行问题和答案的整理,只需准备文本格式的业务文档,通过平台上传,即可一键获取基于文档的对话技能。无需智能对话技术基础也可以利用该技术,秒变AI达人。

【对话式文档问答技术解读】

对话式文档问答技能,可以对传统需要人工抽取FAQ或梳理意图的业务文档进行自动学习,通过搜索与语义理解技术,构建了用户输入的问题与业务文档之间的桥梁,使得用户的问题可以由技能自动找到文档中的对应答案片段,使用端到端的多文档阅读理解模型V-NET和自然语言生成技术,技能得以返回更为精准的答案。整个问答技能的构建对开发者来说没有任何技术门槛,且对话式文档问答技能具有自主学习能力,可持续优化,大大提高问答系统的开发人效。

【多粒度语料分析技术】

开发者在上传文档后,可以在平台上进行模型训练,整个训练的过程需要经过以下几部分处理:

1.基础处理:比如编码处理,冗余字符处理,切分完整语义片段,进行词法分析等,让机器人对用户上传的文档有基础了解;

2.获取文档关键信息并完成倒排索引:此过程采用了TF-IDF及TextRank等多种算法综合片段的重要性,并进行打分;

3.构建基于词向量的KNN分类器:基于大规模语料,使用skip-gram模型,训练并得到词向量,并完成构建KNN分类器。

【基于篇章理解的答案定位技术】

训练结束后,开发者就可以直接测试使用了,这个过程如上图所示:

1.首先是对用户的query进行分析及提取关键信息;

2.此后对关键信息进行拓展,构建query中关键信息与文档中关键信息之间的桥梁;

3.在对query有了比较深入的分析后,实时在系统中寻找与问题最相关的候选文档及候选答案,要进行基于各种技术的排序处理;

4.排序后,会生成精准的答复,这里面要拆分单答案及多答案等处理算法及逻辑。

【如何体验对话式文档问答】

开发者需要登录UNIT平台,点击“创新技术”区,进入如下界面,点击“对话式文档问答“即可申请体验。

创新技术区是UNIT将创新技术在业务场景下落地探索的窗口,目前包含对话式文档问答和语义解析离线使用两种创新技术,开发者可以通过在线申请并体验这些新技术,同时更多创新技术敬请期待。

【三步快速创建对话式文档问答对话技能】

点击“对话式文档问答”,进入对话式文档问答的主界面,新用户点击“新建技能”,填写技能信息,即可完成技能的创建。技能创建完成后会出现在“对话式文档问答技能”列表和“我的技能”列表中。创建技能后,只需三步便可获得基于业务文档的对话能力:

第一步:上传业务文档

当前版本的对话式文档问答仅支持两类纯文本文档的上传上传,一类是普通文本文档,一类是梳理过的FAQ文档,如下图所示。

Tips:

1.每种文档类型都可以通过下载示例文档进行内容的替换后再上传;

2.请选择恰当的文档类型后再上传对应的文档,否则会影响模型的效果;

3.每次只能上传一个文档,多个业务文档请分批次上传;

4.FAQ类型的文档请务必按照示例文档的格式整理后再上传;

5.当前版本下每个技能可支持的文档大小的上限是10M,文档数量的上限是99个。

第二步:训练模型

文档上传完成后开始模型训练。训练完成后“训练”按钮会变为“重新训练”,点击“测试”进入测试界面。

Tips:

1.训练过程中不可对文档进行任何编辑,包括删除、上传、下载等;

2.目前的技能是全文档训练,即该技能下的所有文档都会参与模型的训练。

第三步:测试技能

进入“测试”界面可以体验对话。对话有两种形态:一种是直接对话,一种是回复中提供选项,用户可以进行选择,或者直接输入更多信息进行交互,如下图。

【调优模式如何使用】

1.调优模式下会看到一个query的多个候选项答案,并且可以展开每个候选项查看完整的选项内容

2.查看并确定正确选项后,点击单选按钮进行选择,并点击确认后就会保存答案,再次询问该query时,会呈现针对这个问题的答案,如下图:

3.如果对之前选择的答案不满意,可以点击“删除并重新选择”按钮,进行重新选择;点击“删除并重新选择”按钮后,会呈现选择前的选项状态。

4.调优完成后,点击“生效”按钮,调优结果会在模型中生效;之后即可在“测试模式”下体验调优后的对话效果了;如果调优后没有点击“生效”就要离开调优界面,会弹出二次确认,点击“生效”后,调优结果就会生效到模型中。

如有任何关于对话式文档问答的问题,可以请发邮件至unit-innovation@baidu.com与我们沟通交流。

百度大脑UNIT3.0解读之对话式文档问答——上传文档获取对话能力的更多相关文章

  1. 百度大脑UNIT3.0智能对话技术全面解析

    智能客服.智能家居.智能助手.智能车机.智能政务……赋予产品智能对话能力是提升产品智能化体验.高效服务的重要手段,已经开始被越来越多的企业关注并布局.然而,智能对话系统搭建涉及NLP.知识图谱.语音等 ...

  2. 百度大脑UNIT3.0详解之嵌入式对话理解技术

    相信很多人都体验过手机没有网时的焦虑,没有网什么也做不了.而机器人也会遇到这样的时刻,没有网或者网络环境不好的情况下,无法识别用户在说什么,也无法回复用户.在AIoT(AI+物联网)飞速普及的现在,智 ...

  3. 百度大脑UNIT3.0详解之知识图谱与对话

    如今,越来越多的企业想要在电商客服.法律顾问等领域做一套包含行业知识的智能对话系统,而行业或领域知识的积累.构建.抽取等工作对于企业来说是个不小的难题,百度大脑UNIT3.0推出「我的知识」版块专门为 ...

  4. 百度大脑UNIT3.0详解之数据生产工具DataKit

    在智能对话项目搭建的过程中,高效筛选.处理对话日志并将其转化为新的训练数据,是对话系统效果持续提升的重要环节,也是当前开发者面临的难题之一.为此百度大脑UNIT推出学习反馈闭环机制,提供数据获取.辅助 ...

  5. 百度大脑UNIT3.0详解之语音语义一体化方案

    在电话客服场景里,用户和机器人交流的过程中,经常会出现沉默.打断机器人.噪声等情况,机器人在应对这些异常情况的时候,需要语音和语义理解技术进行处理,才能实现用户和机器人的流畅交谈.而这些能力的获取与应 ...

  6. 发布AI芯片昆仑和百度大脑3.0、L4自动驾驶巴士量产下线,这是百度All in AI一年后的最新答卷...

    机器之心报道,作者:李泽南. 去年的 7 月 5 日,百度在北京国际会议中心开办了首届「AI 开发者大会」.在会上,百度首次喊出了「All in AI」的口号.一年的时间过去了,今天在同样地点举行的第 ...

  7. 使用servlet3.0提供的API来进行文件的上传操作

    servlet 3.0针对文件上传做了一些优化,提供了一些更加人性化的API可以直接在request中的到文件的名称.文件size,MIME类型,以及用InputStream表示的文件流的信息 @Re ...

  8. FastDFS的配置、部署与API使用解读(2)以字节方式上传文件的客户端代码(转)

    本文来自 诗商·柳惊鸿 Poechant CSDN博客,转载请注明源地址:FastDFS的配置.部署与API使用解读(2)上传文件到FastDFS分布式文件系统的客户端代码 在阅读本文之前,请您先通过 ...

  9. SpringMVC案例3----spring3.0项目拦截器、ajax、文件上传应用

    依然是项目结构图和所需jar包图: watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYmVuamFtaW5fd2h4/font/5a6L5L2T/fontsi ...

随机推荐

  1. scrapy抓取国家社科基金项目数据库

    1.明确任务 目标网站:http://fz.people.com.cn/skygb/sk/index.php/Index/seach 抓取任务:抓取近五年某关键词(例如"能源".” ...

  2. httpclient常规封装的方法

    <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-compr ...

  3. 插入节点(appendChild())

    appendChild():方法将给元素节点追加一个子节点: reference = element.appendChild(newChild); 如上所示,给定节点newChild将成为给定元素节点 ...

  4. Java 中 Snack3的使用

    网上看了一篇Java 中 Gson的使用,所以也跟着写篇Java 中 Snack3的使用 JSON 是一种文本形式的数据交换格式,从Ajax的时候开始流行,它比XML更轻量.比二进制容易阅读和编写:解 ...

  5. 2019-2020-1 20199304《Linux内核原理与分析》第四周作业

    第三章 MenuOs的构造 一.前情回顾 计算机的三大法宝: -存储程序计算机 -函数调用堆栈 -中断 操作系统的两把宝剑: -中断上下文的切换(保存现场和恢复现场) -进程上下文的切换 二.3.1 ...

  6. .Net Core+Vue.js模块化前后端分离快速开发框架NetModular更新日志(2019-12-08)

    源码 GitHub:https://github.com/iamoldli/NetModular 码云:https://gitee.com/laoli/NetModular 欢迎star~ 文档 ht ...

  7. Java泛型之上、下界通配符的理解(适合初学)

    泛型的由来 为什么需要泛型   Java的数据类型一般都是在定义时就需要确定,这种强制的好处就是类型安全,不会出现像弄一个ClassCastException的数据给jvm,数据安全那么执行的clas ...

  8. 神奇的 SQL 之 联表细节 → MySQL JOIN 的执行过程(一)

    开心一刻 我:嗨,老板娘,有冰红茶没 老板娘:有 我:多少钱一瓶 老板娘:3块 我:给我来一瓶,给,3块 老板娘:来,你的冰红茶 我:玩呐,我要冰红茶,你给我个瓶盖干哈? 老板娘:这是再来一瓶,我家卖 ...

  9. where 和having 的区别

    where : 约束声明,在查询结果返回之前对数据库中的查询条件进行约束    其后不能写聚合函数 having  过滤声明,在查询结果返回之后进行过滤,

  10. gdb调试常用方法介绍

    一.概述   GDB是GNU开源组织发布的一个强大的UNIX下的程序调试工具.没有统一的界面,所有的操作都是通过命令的方式进行提供.对于习惯了图形界面方式进行调试的猿猿来说可能不是很顺手,但是如果你在 ...