python数据分析与可视化基础

一、数据分析介绍：
1.数据分析含义：
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。

 2.常用数据分析方法：

1） 列表法：

将数据按一定规律用列表方式表达出来，是记录和处理最常用的方法。表格的设计要求对应关系清楚，简单明了，有利于发现相关量之间的相关关系；此外还要求在标题栏中注明各个量的名称、符号、数量级和单位等：根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。

2）作图法：

作图法可以最醒目地表达各个物理量间的变化关系。从图线上可以简便求出实验需要的某些结果，还可以把某些复杂的函数关系，通过一定的变换用图形表示出来。 [3]
图表和图形的生成方式主要有两种：手动制表和用程序自动生成，其中用程序制表是通过相应的软件，例如SPSS、Excel、MATLAB等。将调查的数据输入程序中，通过对这些软件进行操作，得出最后结果，结果可以用图表或者图形的方式表现出来。图形和图表可以直接反映出调研结果，这样大大节省了设计师的时间，帮助设计者们更好地分析和预测市场所需要的产品，为进一步的设计做铺垫。同时这些分析形式也运用在产品销售统计中，这样可以直观地给出最近的产品销售情况，并可以及时地分析和预测未来的市场销售情况等。所以数据分析法在工业设计中运用非常广泛，而且是极为重要的。

一、数据可视化介绍：

 1. 数据可视化含义：

数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。

它是一个处于不断演变之中的概念，其边界在不断地扩大。主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。

2. 工具软件：

目前市面上的数据可视化工具多种多样，其中Excel可以说是典型的入门级数据可视化工具。从数据可视化的自动化方面来看，建议使用 Python 编程来实现。Python 中用于数据可视化的库有很多，比较常见的有： Matplotlib（强大、复杂）、Seaborn（基于Matplotlib、简单）、pyecharts（基于Echarts、炫酷）、plotnine（移植于R的ggplot2、图形语法）、PyQtGraph（交互、高性能）。

三、常见的数据分析与可视化类库：

1. NumPy：

NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure）结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库

2. pandas：

pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一

3. Matplotlib

Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。

4. SciPy：

SciPy是一个基于Python的开源库，主要用于科学计算。它通过提供一系列的算法和数学工具，帮助用户解决最优化、积分、插值、特征值问题、代数方程、微分方程和统计等问题。

5.Scikit-learn：

Scikit-learn（以前称为scikits.learn，也称为sklearn）是针对Python 编程语言的免费软件机器学习库 [1]。它具有各种分类，回归和聚类算法，包括支持向量机，随机森林，梯度提升，k均值和DBSCAN，并且旨在与Python数值科学库NumPy和SciPy联合使用。

6. Wordcloud:

WordCloud 库是一个非常有用的工具。它能够将文本中的关键词以词云的形式呈现出来，使得人们可以直观地了解文本的主题和关键词。WordCloud 库不仅能够简单地生成词云，还提供了丰富的配置选项，使用户可以根据自己的需求定制词云的外观和布局。作为Python开源库中的一员，WordCloud 库已经被广泛应用于各种领域，包括数据分析、自然语言处理、社交媒体分析等。

7. jieba：

jieba 是目前表现较为不错的 Python 中文分词组件，jieba库的分词原理：利用一个中文词库，确定汉字之间的关联概率，汉字间概率大的组成词组，形成分词结果。除了分词，用户还可以添加自定义的词组。

四、相关参考文献：
1. 数据分析百度百科：https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/6577123?fr=ge_ala

2. 数据可视化百度百科：https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96/1252367

3. numpy：https://baike.baidu.com/item/numpy/5678437?fr=ge_ala

4. pandas：https://baike.baidu.com/item/pandas?fromModule=lemma_search-box

5. Matplotlib：https://baike.baidu.com/item/Matplotlib?fromModule=lemma_search-box

6. SciPy：https://zhuanlan.zhihu.com/p/686571574

7. Scikit-learn：https://baike.baidu.com/item/Scikit-learn/3006276?fr=ge_ala

8. Wordcloud：https://blog.csdn.net/qq_23091073/article/details/137687456

9. jieba：https://blog.csdn.net/m0_63244368/article/details/126837925

Wordcloud