AAAI |如何保证人工智能系统的准确性?
|如何保证人工智能系统的准确性?" title="AAAI |如何保证人工智能系统的准确性?">
注:本文译自AI is getting smarter; Microsoft researchers want to
ensure it’s also getting more accurate(https://www.microsoft.com/en-us/research/blog/ai-getting-smarter-microsoft-researchers-ensure-ai-accuracy)
|如何保证人工智能系统的准确性?" title="AAAI |如何保证人工智能系统的准确性?">
马里兰大学计算语言学和信息处理实验室计算机科学助理教授Marine Carpuat与语言学教授Philip
Resnik
就在10年前,利用技术手段实现自动对话翻译、图像识别、甚至是计算机看图说话之类的想法似乎还只是在实验室里的有趣科研项目,远非人们日常生活中的务实应用。
而近年来人工智能技术的进步改变了人们的想法。眼下,越来越多的人开始依赖于使用机器学习等技术构建的系统。这一切变化引起了人工智能研究人员的新思考:如何确保众多此类系统的根基——算法、训练数据乃至测试工具系统——做到精确,并且尽可能无偏差。
微软自适应系统和交互组(adaptivesystems and interaction group)研究员Ece
Kamar说,研究人员和开发人员的动力来自于他们意识到尽管系统本身并不完美,但已经有许多人会把重要的任务交托给它们。“这就是为什么我们必须要搞清楚,系统究竟会在哪里犯错误,”Kamar说。
|如何保证人工智能系统的准确性?">
上周在旧金山开幕的AAAI人工智能会议上,Kamar和微软的其他研究人员将发表两篇研究论文,它们旨在综合运用算法和人类专业知识,消除数据缺陷和系统缺陷。另外,另一组微软研究人员团队即将发表一个语料库(
语料库Microsoft Speech Language Translation (MSLT) Corpus,下载链接https://www.microsoft.com/en-us/download/details.aspx?id=54689),它可以帮助从事语音翻译研究人员测试其双语会话系统的准确性和有效性。
支撑人工智能的底层数据
开发人员在借助机器学习创建工具时,他们通常会依赖所谓的“训练数据”来训练系统执行特定任务。例如,为了教会系统识别各类动物,开发人员可以向系统展示诸多动物的图片,由此训练它们分辨猫和狗等物种之间的差异。
理论上,人们可以向系统展示它此前从未见过的狗猫图片,而系统应仍能够准确地对它们进行分类。但是,Kamar解释道,训练数据系统自身有时会存在一些所谓的盲点,而这将导致错误的结果。假设我们仅用白猫和黑狗的图片对系统加以训练,那么此后向系统展示一张白狗的图片时,它就有可能产生错误关联,并将白狗误认作猫。
出现这些问题的一部分原因在于许多研究人员和开发人员所使用的训练数据集并非专门设计用于学习其手头的特定任务的。原因很简单,已有的存档动物图片等现成的数据要比另起炉灶构建新数据集来的更快、更便宜——但是,反复检查这些数据的安全性则变得更加重要。
|如何保证人工智能系统的准确性?" title="AAAI |如何保证人工智能系统的准确性?">
“如果没有这些举措,我们就不会明白出现了什么样的偏差,”Kamar说。Kamar及其同事在他们的研究论文——Identifying
Unknown Unknowns in the Open World: Representations and Policies
for Guided Exploration( 下载链接:https://www.microsoft.com/en-us/research/publication/identifying-unknown-unknowns-open-world-representations-policies-guided-exploration)中介绍了一种新算法,该算法可用于识别预测模型中的盲点,帮助开发人员和研究人员修复这些问题。虽然这现在还只是一个研究项目,但Kamar他们希望它最终可以发展成为开发人员和研究人员用于识别盲点的实用工具。“任何与机器学习相关的企业或学术机构都会需要这些工具,”Kamar说。
Kamar及其同事在AAAI会议上发表的另一篇研究论文(On Human Intellect and Machine
Failures: Troubleshooting IntegrativeMachine Learning Systems,
下载链接:https://www.microsoft.com/en-us/research/publication/human-intellect-machine-failures-troubleshooting-integrative-machine-learning-systems)则希望帮助研究人员弄清楚一个复杂的人工智能系统中各种不同类型的错误将如何导致不正确的结果。由于人工智能系统所执行的任务越来越复杂,所依赖的多个组件之间也会相互纠缠,因此对它们进行解析的难度可谓出人意料。假设一个自动图片说明编写工具将泰迪熊图片描述成了搅拌机。你可能会认为问题出在被训练用于识别图片的组件上,但最后却发现真正的问题出现在设计用于编写说明的组件上。为此,Kamar和同事设计了一种方法,为研究人员提供指导,帮助他们通过模拟各种修复方案来找出问题根源,从而解决这些问题。
“人机共生”(human in the loop)
Kamar表示,在从事包括上述项目在内的各种研究的过程中,她都受到了自己曾参与的“AI
100”(人工智能百年研究)项目的强烈影响。该项目在斯坦福大学展开,由Horvitz夫妇赞助,其目的在于探索未来100年间人工智能将如何影响人类。它的主要内容是分析和预测人工智能对人类的影响,从国家安全到公众心理以及个人隐私等等,几乎涉及了生活、工作中的各个方面。
Kamar说,她从这项工作中获得的教益之一,就是明白了确保研究人员深入参与系统开发、验证和故障排除全过程的重要性——研究人员称之为“人机共生”(human
in the loop)。这有助于确保我们所创建的人工智能将可以增强人类能力并以实际行动反映人们的意志。
测试对话翻译的准确性
开发人员和学术研究人员创建语音识别等系统时,他们可以利用被广泛认可的方法来测试其准确性:诸如Swtichboard和CALLHOME之类的对话数据集。
但是,Microsoft Translator团队的高级项目经理Christian
Federmann指出,可用于检测双语对话语音翻译系统,如Microsoft
Translator现场翻译功能(Live Feature)和Skype
Translator实时语音翻译技术的标准化数据集并没有那么多。
所以他和同事们决定创建一个。
|如何保证人工智能系统的准确性?">
微软口语翻译语料库(Microsoft Speech Language Translation (MSLT)
Corpus,下载链接:https://www.microsoft.com/en-us/download/details.aspx?id=54689)已于上周公开发布,并可供任何人使用。它允许研究人员对照一套包含法语、德语和英语的多回合双语会话数据集,衡量其自有会话翻译系统的质量和有效性。
该语料库由微软聘请的会说两种语言的朗读者制作而成,旨在创建一套标准来帮助人们测试其各自对话语音翻译系统的运行效果。“你需要高质量数据才能进行高质量测试,”Federmann说。事实上,对话语音和双语翻译相结合的数据集至今仍然如凤毛麟角。
马里兰大学计算机助理教授Marine
Carpuat从事的是自然语言处理研究,她说自己想测试对话翻译算法的运行效果时,经常不得不依赖于可免费获取的数据,例如欧盟文件的官方翻译等。
这些翻译资料原本并非用于测试对话翻译系统,而且它们也未必能反映出人们在实际生活中更为随意和自发的互相交谈方式,她解释道。这样,她就很难了解当人们希望翻译常规对话时——特别是伴随着各种停顿、迟疑语和口头禅时,她的翻译算法是否仍然适用。
Carpuat是这套语料库的早期试用者之一,她说语料库有“立竿见影”之效。“这样我就可以亲自检测,看看一套已知非常适用于正规文档数据的系统在尝试处理口语对话时会发生什么情况,”她说。
微软团队希望这套免费提供的语料库能够惠及整个对话翻译研究领域,并帮助创建更加标准化的尺度,借助它,研究人员就可以把自己的研究成果与他人的研究技术进行对比。
Microsoft Translator团队首席技术项目经理Will
Lewis也是本项目的参与者,他认为:“这将有助于推进整个领域的发展。”
|如何保证人工智能系统的准确性?">
AAAI |如何保证人工智能系统的准确性?的更多相关文章
- 人工智能系统Google开源的TensorFlow官方文档中文版
人工智能系统Google开源的TensorFlow官方文档中文版 2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源,机器学习作为人工智能的一种类型,可以让软件根据大量的 ...
- Windows10 64位下安装TensorFlow谷歌人工智能系统已官方原生支持
Windows10 64位下安装TensorFlow谷歌人工智能系统已官方原生支持 GitHub - tensorflow/tensorflow: Computation using data flo ...
- 比Android更深远的改变世界——谷歌开源人工智能系统TensorFlow文档中文版
OpenStack中国社区编者按:开源无处不在,特别在基础创新领域,未来系统软件都会是开源为主流:2015年11月9日,Google于开源了其第二代人工智能系统Tensorflow,如同6年前同样开源 ...
- IBM:向所有云平台开放Watson人工智能系统
据美国科技媒体TechCrunch报道,IBM今天宣布不再把沃森(Watson)品牌的人工智能服务局限于自家云计算服务,而是会允许其他企业在自己的数据中心里使用和运行这个平台."客户很难把人 ...
- X_PU
通俗易懂告诉你CPU/GPU/TPU/NPU...XPU都是些什么鬼?[附把妹秘籍] 2017-10-27 19:54移动芯片/谷歌 作者:iot101君 物联网智库 原创 转载请注明来源和出处 现在 ...
- AI 的架构与核心
AI 的架构 人工智能的架构分为三层:应用层.技术层和基础层. 应用层聚焦在人工智能和各行业各领域的结合.技术层是算法.模型和技术开发.基础层则是计算能力和数据资源. 数据收集:获取什么类型的数据,数 ...
- 2016中国人工智能企业TOP100, CBinsight2016年100家人工智能公司
2016中国人工智能企业TOP100 不论在学界还是业界,均有代表人物对人工智能表示了担忧,如史蒂芬·霍金和比尔·盖茨.尽管如此,国内外科技巨头都积极发力人工智能,一波波创业者也相继涌入.人工智能成为 ...
- AI学习笔记:人工智能与机器学习概述
一.人工智能基本概念 1.1 基本概念 数据分析:对历史规律的展现.对未来数据的预测. 机器学习:机器学习是指从一系列的原始数据中找到规律,提取人们可以识别的特征,然后通过学习这些特征,最终产生一个模 ...
- A review of learning in biologically plausible spiking neural networks
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Contents: ABSTRACT 1. Introduction 2. Biological background 2.1. Spik ...
随机推荐
- Spring集成MyBatis配置文件
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sp ...
- mysql only_full_group_by
下载安装的是最新版的mysql5.7.x版本,默认是开启了 only_full_group_by 模式的,但开启这个模式后,原先的 group by 语句就报错,然后又把它移除了. 一旦开启 only ...
- 三十六、www服务nginx介绍
一.Nginx介绍 ,相对于LAMP经典组合而言,LNMP是近几年来流行的组合.(linux+nginx+mysql+php) Nginx是一个开源www服务软件,是俄罗斯人开发的,本身是一款静态ww ...
- Maven 仓库搜索服务和私服搭建
Maven 仓库搜索服务 使用maven进行日常开发的时候,一个常见问题就是如何寻找需要的依赖,我们可能只知道需要使用类库的项目名称,但是添加maven依赖要求提供确切的maven坐标,这时就可以使用 ...
- PAT甲级——1011 World Cup Betting
PATA1011 World Cup Betting With the 2010 FIFA World Cup running, football fans the world over were b ...
- VB6实现Excel多工作簿数据合并
以前的同事,工作需要,让我帮忙完成多个工作簿的汇总. 我就用最熟悉的VB6写了一个Form应用程序,这是因为我不知道她目前的系统和Office情况,如果太高大上了,她不会部署安装.索性就简单粗暴地来个 ...
- 被这个C程序折腾死了
The C programming language 的第13页,1.5.3 行计数的那里,那个统计换行符个数的程序我好像无法运行,无论输入什么,按多少下enter,什么都出不来. #include& ...
- HQL语句简单介绍
HQL查询:Criteria查询对查询条件进行了面向对象封装,符合编程人员的思维方式,不过HQL(Hibernate Query Lanaguage)查询提供了更加丰富的和灵活的查询特性,因此 Hib ...
- GenerateId类:生成唯一id、订单号
using System;using System.Security.Cryptography; namespace Infrastructure{ public class GenerateId { ...
- Anaconda 安装、TensorFlow 安装、pytorch 安装
问题 1 假设已经安装完Anaconda Navigator,按照 网址:https://www.zhihu.com/question/55577586 的教程操作,设置镜像源地址,安装. 问题 2: ...