python 金融网贷数据，pandas进行数据分析并可视化系列 (词频统计,基本操作)

需求：

　　某某金融大亨想涉足金融网贷，想给网贷平台取一个名字，那么取什么名字，名字里面包含哪些关键字，在行业内的曝光率会相比较高一些呢？

可以理解为：

你负责某某网贷平台的网络推广工作，如何进一步优化各广告推广平台上的搜索关键词，这些网贷平台的名称都有啥共同点？

其实就是：

想看看各网贷平台名称的高频词汇,给各平台的名称划下重点

 

找数据：

　　获取所有网贷平台的平台基本名称数据，这样子才能进行下一步工作

　　

　　把网贷之家上所有平台的数据找出来，这样就可以了

读取数据：

　　import pymysql

　　import pandas as pd

　　方法一：pandas直接读取数据库数据

　　　　1.   用pymysql连接数据库

　　　　

　　　　2.   用pandas 通过数据库读取数据(读取速度非常的快)

　　　　 

 

　　方法二：pandas读取本地xls或者csv格式文件（因为并不是所有做数据的人都有权限访问数据库，有些是从系统导出数据，再进行操作，所以这也是为了照顾这批人）

　　

　　读取数据后的基本操作

　　查看数据内容

　　　　plat 查看所有的数据,我一般都是用Jupyter QtConsole 编译器 进行数据操作，很灵活

　　　　

　　plat.head() 默认是查看前5行  可加参数 比如 plat.head(n=10) 则是查看前十行

　　plat.tail()   默认是查看后5行  可加参数 比如 plat.tail(n=10)   则是查看后十行

　　

　　查看某一列

　　plat.platName.head()

　　查看多列则是：plat[['platId',’platPin’,’platName’]].head()

　　

　　

　　查看各字段的数据类型

　　plat.dtypes

　　

　　在pandas 里面 有这么几种主要从数据类型：float,int,bool, datetime64[ns], timedelta[ns], category 和 object

一般情况下，从外部读取的数据，基本上以object为多，如果是数字格式，那么就会是int64或者float64,大多数情况下，读取的日期格式到pandas里面都是 object格式，需要自己转换为datetime64[ns]才行。（格式问题后期会详谈）

　　详细参考：http://pandas.pydata.org/pandas-docs/stable/basics.html#dtypes

清洗整理数据：

　　我们只需要拿出platName 这一列，然后对平台名称进行分词，看一下网贷平台的取名都会有哪些规律

　　导入 jieba 这个库 import jieba（没有安装这个库的 自行 pip install jieba）

　　这个算是python中最简单大众的中文分词库了，现在很多教程分词都是用这个库

　　这是我之前监控大学同学微信群，然后收集大家短时间内的一顿瞎聊的聊天记录，做出来的云词图效果。

　　

　　可以看出大家都挺开心的，哈哈哈哈。

　　毕业即结婚确实是热门话题，减肥啊，工作啊，外卖啊，胖啊，吃饭啊是大家很关心的话题。

　　Jieba详细文档：https://github.com/fxsjy/jieba

　　

　　操作如下：

　　

　　得到一个wordDict的词典，现在我们用pandas 将这个词典的key和value 转换成 DataFrame 格式的数据

　　

　　查看结果

　　

　　显得乱七八糟，我们按‘value’字段进行降序，看的更直观一些

　　result.sort_values(by='value',ascending=False)

　　

　　此时，分词结果非常的直观了

　　可以看到：5776个平台名称中，”财富”出现了662次，”金融”有560次，”贷”出现了557次……