python 抓取数据，pandas进行数据分析并可视化展示

　　感觉要总结总结了，希望这次能写个系列文章分享分享心得，和大神们交流交流，提升提升。

　　因为半桶子水的水平，一直在想写什么，为什么写，怎么写。

　　直到现在找到了一种好的办法：

　　　　1.写什么 自己手上掌握的，工作中经常用到的，从数据源 到 最后可视化 所有一套流程。

　　　　2.为什么写 因为很长一段时间没有进行总结和梳理了，总感觉很多东西很零散，另一方面，写写笔记也是对那些东西的一次巩固。

　　　　3.怎么写 这个问题其实想了很久，后来想通了，就是怎么把工具都放在手上，结合着用起来，按流程走。

 

　　接下来都会这么写：

　　　　1.梳理思路

　　　　2.找数据

　　　　3.连数据

　　　　4.pandas xjb一顿操作

　　　　5.可视化

　　　　6.总结

 

找数据：

　　理由：本人之前从事过金融贷款行业的工作，而且现在国家互联网金融行业盛行，找些投资借款数据用来练手还是可行的。

　　备注：仅是部分样本数据，目的只有一个：练手。

　　可以这么理解：如果你想练刀工，重点不在于你是切鸡肉还是鸭肉，在于你手上的刀玩得溜不溜，不管是鸡肉，鸭肉还是鹅肉，切好他们的同时让你刀工更加进步。

 

连数据：

　　我用的是 python + pymysql 方式，还有用pandas读取excel，csv，txt文件都是ok的。

　　python连接数据库有很多人用的是MySQL-python,mysqlclient,peewee或者SQLAlchemy库,也是ok的。

　　顺便说一下各个库

　　　　MySQL-python：又叫 MySQLdb,是用的比较多的一种驱动，基于C开发的库，可是它只支持python2.X，而且在windows平台经常抽风。

　　　　mysqlclient：这个据说是django ORM的依赖工具，之后可视化部分我应该也会用到django。

　　　　pymysql：这个是纯Python实现的，最大的优点就是安装so easy ，我刚接触python+mysql时，选择了这个，所以就一直用这个库来操作mysql了。

　　　　peewee：ORM框架，如果对Django的ORM操作很熟悉的话，这个就so_easy了，但是我觉得很麻烦，哈哈哈。

　　　　SQLachemy ：这个不错，既支持原生SQL，也支持ORM，pandas操作中会涉及这个。

 

pandas xjb一顿操作：

　　这也是为什么我要写文章巩固梳理的地方，数据操作重点就在这里。

 

可视化操作：

　　可视化（excel，python可视化库，在线制图，以及非常牛逼的highcharts,echarts web交互)。

　　表比文字好，图比表好。

　　人要穿衣服，但是衣服也有漂亮和丑之分，如果目的仅仅是穿衣服，那么随便穿，只要掩体就行，可视化也是一个道理，图表有装逼和不装逼之分，关键看你只是达到目的，还是为了更美观。

　　excel：这个如果是默认的图表确实不够炫酷，但是可以调得非常美观，比如这个还看得过去吧。

　　

 

　　python可视化库：bokeh，matplotlib等等等，都不错，也是得靠手工调才能显逼格的。

　　在线制图：我平时用到的，只是为了偷懒，比如用pandas把数据整出来了，要做个云词图，直接百度一个在线云词图工具，数据甩进去就好了，怎么快怎么搞，而且更美观。

　　highcharts,echarts：只能说很牛逼，这个。如果搞web的话，直接用js接入这两个的其中一个就行了，交互式图表，更加符合现代互联网企业的发展。这两个相比较，我更倾向于echarts，但是手上的报表系统是highcharts的，所以highcharts的参数我更熟悉一点，如果真要美观,装逼,高大上的话，还是入手echarts吧。

https://www.hcharts.cn/docs/basic-title

http://echarts.baidu.com/tutorial.html

 

总结：

　　介绍了基本情况，下面进入半桶子水时刻，qq1749061919 (欢迎交流，共同进步)

 

 

出处：http://www.cnblogs.com/buddyquan/p/7986225.html