Notes of 大数据智能

资料
刘知远 等. 大数据智能：互联网时代的机器学习和自然语言处理技术. 北京：电子工业出版社. 2016.

1 深度学习——机器大脑的结构

深度学习(Deep Learning)的两个方面：

神经网络是一个带参数的函数，通过调整参数，可以拟合不同的函数。

(1) Learning 机器学习就是一种让计算机自动调整参数以拟合目标函数的过程；

(2) Deep 多个这种带参数的函数可以进行嵌套，构成一个多层神经网络，能够更好的拟合目标函数；逐层预训练的方法可以使这一方法获得较好的效果。

深度学习使用的人工神经网络是一种多层前馈神经网络：

f(x) = g3(g2(g1(x; w1); w2); w3), w1, w2, w3为参数

有效训练参数的方法：逐层预训练。

深度学习的应用：分类、结构分类、回归。

参考文献

(Hinton & Salakhutdinov 2006) Reduceing the dimensionality of data with neural networks.

2 知识图谱——机器大脑中的知识库

从杂乱的网页到结构化的实体知识，搜索引擎利用知识图谱能够为用户提供更具有条理的信息，甚至顺着知识图谱可以搜索更为深入、广泛和完整的知识体系，让用户发现他们意想不到的知识。

知识图谱的数据来源：大规模知识库、互联网链接数据、互联网网页文本数据、多数据源的知识融合。

知识图谱的典型应用：查询理解(query understanding)、自动问答(question answering)、文档表示(document representation)。

知识图谱的主要技术：实体链指(entity linking，包括实体识别(entity recognition)和实体消歧(entity disambiguation))、关系抽取(relation extraction)、知识推理(knowledge reasoning)、知识表示(knowledge representation)。

参考文献

人工智能专著：(Russell & Norvig 2009) 人工智能——一种现代方法。

关系抽取：
(Nauseates 2013) Semantic relations between nominals.
(Nickel 2015) A review of relational machine learning for knowledge graphs.

3 大数据系统——大数据背后的支撑技术

在实际处理深度学习问题中主要进行的是稠密矩阵的运算，传统的高性能计算适合处理。现有开源深度学习系统几乎都是在高性能计算库的基础上进行了封装。

支撑技术：高性能计算技术、虚拟化和云计算技术、基于分布式计算的大数据系统、大规模图计算和NSQL。

图计算

大规模图计算涉及了分布式图计算框架和单机图计算框架。

图的分析可以分为图的查询和计算两类。

图的查询是指在图中查找符合一定条件的顶点、路径或子图，这里问题可以有图数据库来解决，例如Neo4j。

图的计算是指根据图的拓扑结构以及顶点和边上所带的属性，经处理后得到所需结果的过程，包括以图的整体作为输入的算法，例如广度优先搜索BFS、深度优先搜索DFS、连通分支、PageRank等。图的规模不大时，有Boost Graph Library、SNAP、NetworkX等软件库支持图计算算法的实现。

参考文献

分布式图计算： (Malewicz 2010) Pregel: a system for large-scale graph processing.(Apache开源实现Giraph)

单机图计算:
GraphChi(Kyrola 2012) GraphChi: Large-scala graph computation on just a PC.
X-Stream(Roy 2013) X-stream: edge-centric graph processing using streaming partions.
GridGraph(Zhu 2015) GridGraph: Large-scala graph processing on a single machine using 2-level hierarchical partitioning.

以下章节涉及自然语言处理、信息检索、推荐系统等专有领域，暂不做处理。

4 智能问答——智能助手是如何炼成的

5 主题模型——机器的智能摘要利器

6 个性化推荐系统——如何了解电脑背后的TA

7 情感分析与意见挖掘——计算机如何了解人类情感

8 面向社会媒体打数据的语言使用分析及应用