集智学院 “Deep X：Deep Learning with Deep Knowledge”的公开讲座---总结

　　人工智能旨在了解人类智能的本质，并创造出能模仿人类智能做出反应的智能机器，目前在一些领域已经取得显著的成功，如AI玩游戏、问答系统、自动驾驶、无人机、机器人、翻译、人脸识别、语音识别等领域。深度学习的突破性进展是人们对人工智能产生巨大兴趣的主要原因之一，它包含几个关键的技术：卷积神经网络、循环神经网络、深度强化学习、生成对抗网络、表示学习、注意力机制等。

　　这里举两个具体的例子。借助人工智能，我们可以使用深度学习技术进行医疗影像处理，帮助患者快速准确地诊断。目前用AI进行结核病检测已经能达到97％的灵敏性和100％的特异性。借助人工智能，我们还可以优化燃气轮机，通过使用机器学习算法来优化控制参数，减少燃气轮机的氮氧化物排放，为解决气候问题尽一份力。

深度知识+深度学习=拉普拉斯妖？

　　人工智能技术的发展需要深度学习、机器学习、数据挖掘、统计学等多种技术的共同支持，而深度学习逐渐成为新一代人工智能最核心的技术。更多的标记数据、更深的模型、更有效的算法、更强大的计算能力、更多科研工作者的努力促进了人工智能产业的大发展。然而随着深度学习发展的深入，越来越多的研究表明深度学习存在着局限性，主要体现在对数据的强依赖性以及无法利用先验知识。

　　知识蕴涵了丰富的语义信息，体现了现实世界中实体之间的关系。机器需要掌握大量的常识性知识，才能以人的思维模式和知识结构来进行分析、理解和决策。例如，自动驾驶汽车需要配置带有GPS的地图，IBM沃森机器人需要配备有能快速检索的文档资料库。地图、文档资料库、知识图谱、维基百科、网页内容、物联网和工业大数据、病患资料等都是人观察实践后总结凝练出来的深度知识。因此要实现真正的类人智能，人工智能技术的发展还需要深度知识的支撑。

　　深度知识和深度学习如何助力人工智能发展呢？这可以用“拉普拉斯妖假设”来类比。拉普拉斯妖假设是法国数学家皮埃尔-西蒙·拉普拉斯于1814年提出的一种科学假设：如果“妖”知道宇宙中每个原子确切的位置和动量，那么使用经典力学定律就能计算出宇宙事件在任何时间的状态，包括过去和未来。深度知识就好比是“每个原子确切的位置和动量”，深度学习模型就好比是“经典力学定律”，或许联合深度知识和深度学习技术就能实现超级人工智能。

　　那么我们如何得到、表示和存储人类抽象水平的知识呢？目前一些公司正在从工程的角度解决这个古老的问题，使用知识图谱将人类的知识转化为图，从而方便计算机存储并用于推理。构建知识图谱的数据来源可以分为结构化数据和非结构化数据。结构化数据如历史记录、关系、社交网络等，结构固定，便于搜索，通常使用数据库来存储；非结构化数据如图片、视频、文本、语音记录等，没有固定结构，不易搜索，一般存储为二进制的数据格式。

谷歌知识图谱的实践

　　谷歌在2012年基于语义网、Linked Data发布了知识图谱，主要用于提高谷歌搜索的质量，这是知识表示领域的重大突破。谷歌知识图谱规模不断扩大，目前已经包含超过千亿条事实，而且可靠性和真实性很高，有专门的维护，易于信息集成，可用于搜索、问答、文本理解等领域，各行各业都对此产生浓厚的兴趣。

　　然而构建高质量的知识图谱并不容易，原始数据往往存在于多源异构的环境中，进行海量知识抽取和融合，就成了首要的无法回避的严峻问题。而且在实际中企业数据和业务变化灵活，数据源、数据结构、数据内容随时会发生变动，对业务的理解以及对数据的解读也随之发生变化。因此建立实时敏捷、灵活可扩展、智能自适应的动态知识图谱尤为重要。
　　　　

　　　　　　　　　　　　　　　　　　　　谷歌知识图谱

知识图谱的构建

　　知识图谱的构建过程是从原始数据出发，采用一系列自动或半自动的技术手段，从原始数据中提取出知识要素，并将其存入知识库的过程。这是一个迭代更新的过程，每一轮迭代包含3个阶段：信息抽取、知识融合以及知识加工。

　　这里我们重点阐述知识加工阶段。经过信息抽取、知识融合后，一个初步的知识图谱就搭建出来了，然而知识图谱中的事实是不完备的，需要通过知识推理来补全知识图谱。知识图谱的补全是通过现有知识图谱来预测实体之间的关系：从知识库中已有的实体关系出发，经过计算机推理，建立实体间的新关系，从而扩展和丰富知识网络。这是对关系抽取的重要补充，是知识加工的重要环节。

　　知识图谱中信息一般以三元组的方式进行组织，一般来说有（实体，关系，实体）和（实体，属性，属性值）两种形式。然而机器学习算法更善于处理矩阵形式的数据，因此进行知识推理时通常将知识图谱表示为张量形式，通过张量分解来实现对未知事实的判定。

　　RESCAL模型是知识推理中常用的模型，它的核心思想是将整个知识图谱编码为一个三维张量，这个张量十分稀疏，值为0表示对应的关系不存在，值为1表示对应的关系存在。由这个张量分解出一个核心张量和一个因子矩阵，核心张量中每个二维矩阵切片代表一种关系，因子矩阵中每一行代表一个实体。由核心张量和因子矩阵还原的结果被看作对应三元组成立的概率，如果概率大于某个阈值，则对应三元组正确；否则不正确。
　　RESCAL模型
　　Nickel, Tresp, Kriegel. A Three-Way Model for Collective Learning on Multi-Relational Data. ICML 2011
　　

　　　　　　　　　　　　　　　　　　　　　　RESCAL张量分解

知识图谱与深度学习的融合

　　现阶段将深度学习技术应用于知识图谱的方法较为直接。大量的深度学习模型可以有效完成端到端的实体识别、关系抽取和关系补全等任务，进而可以用来构建或丰富知识图谱。

　　而知识图谱在深度学习模型中的应用有两种方式：一种是将知识图谱的语义信息输入到深度学习模型中，将离散化的知识表示为连续化的向量，从而使知识图谱的先验知识能够作为深度学习的输入，这一趋势催生了对于知识图谱的表示学习的大量研究；另一种是利用知识作为优化目标的约束，指导深度学习模型的学习过程，通常是将知识图谱的知识表示为优化目标的后验正则项。

　　知识图谱与深度学习的融合已经有大量实际应用，如使用循环神经网络和知识图谱为临床决策提供支持，使用卷积神经网络和知识图谱来做图像的信息抽取。

　　　　　　

　　　　　　　　　　图像的信息抽取

　　使用循环神经网络和知识图谱为临床决策提供支持
　　Sonntag, Tresp, et al., The Clinical Data Intelligence Project. Informatik-Spektrum, 2016.

　　使用卷积神经网络和知识图谱来做图像的信息抽取
　　Lu C, Krishna R, Bernstein M, Fei-Fei L. Visual relationship detection with language priors. In ECCV. 2016

认知深度学习

　　人工智能有三个层次，分别是运算智能、感知智能和认知智能。对于前两个层面，机器的能力已经超越人类，而正在蓬勃发展的认知智能成为当下人工智能工业应用破局的着力点。

　　要赋予机器认知能力，我们要先了解人类的认知过程。客观事物的刺激会使人产生感觉（视觉、味觉、触觉等），人脑对不同感觉信息进行综合、加工产生知觉，最终存储在脑海中形成记忆，包括情景记忆（Episodic Memory ）和语义记忆（Semantic Memory ）。情景记忆指我们记得的事件，如回忆过去事件的感官印象；语义记忆指我们知道的事实，如“奥巴马是前美国总统”。人类在漫长的进化过程中发展出独特的语言功能，我们可以用语言来说出情景记忆和语义记忆。可见，人脑的感觉、知觉和记忆存在潜在的联系。

　　根据海马体记忆索引理论（Hippocampal Memory Indexing Theory），知觉的高阶表示形成情景记忆，并随着时间而不同；对于有意义的情景记忆，会根据时间产生一个索引，保存在海马体中。当我们回忆过去事件时，我们能说出当时的感官印象，这是对情节记忆进行感知解码（Perceptual Decoding）得到当时的事实，这个过程常常会使用海马体中其它记忆作为先验知识。
　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　人的认知过程

　　借鉴人类的认知过程，我们以图像的信息抽取为例来展示机器的认知过程。输入图像数据（视觉），得到图像的表示（知觉），这个过程就是感知（Perception），表示学习是实现感知智能的关键，深度神经网络在这方面表现相当优秀。要描述图像上的物体之间的关系，那么就要对图像的表示进行感知解码，这里可以结合知识图谱作为先验知识，最终得到描述事实的三元组。知识图谱的使用正是照应了歌德的名言“你只能看到你知道的”。借助深度学习和知识图谱，我们能够赋予机器类人的认知智能。
图像的信息抽取

人工智能的未来：量子机器学习

　　量子机器学习（Quantum Machine Learning）是一个结合量子计算和机器学习的跨学科领域。两者间像一种共生关系，我们可以利用量子计算产生机器学习算法的量子版，也可以使用经典机器学习算法来分析量子系统。

　　而对于知识图谱来说，由于知识图谱规模巨大，在构建和应用上需要很强的算力，能否利用量子计算的力量来加速计算呢？知识图谱的量子计算将是一个很有前景的研究方向，其关键在于如何将知识图谱映射到量子态，这是一个很有趣的问题。目前科学家们提出的研究思路是结合经典计算机和量子计算机各自的优势，用量子计算机归纳推理，用经典计算机更新参数。总之，量子计算将为人工智能带来重大变革。
　　

　　　　　　　　　　　　量子机器学习

　　知识图谱的量子计算
　　Ma, Tresp, Zhao, Wang. Variational Quantum Circuit Models for Knowledge Graph Embeddings, 2018
　　Ma, Tresp. Quantum Machine Learning on Knowledge Graphs, 2018

结语

　　我们生活在机器学习和深度学习的时代，它们是实现人工智能不可或缺的技术。知识图谱与深度学习的结合，更让我们看到了实现强人工智能的希望。知识图谱可以作为先验知识辅助理解传感器输入，也可以作为后验知识约束模型学习。知识图谱与深度学习的结合甚至有助于赋予机器认知智能。深度学习与深度知识的大交融，将是未来人工智能研究领域的重大挑战，同时也是重大机遇。