三、Python系列——Pandas数据库读取数据

Pandas主要先读取表格类型的数据，然后进行分析。

import pandas as pd
# 由于是用pandas模块操作数据，因此不用在路径前加open,否则就是python直接打开文件，可能还会打不开出错
# file_path_excel = open('E:\\学习\\Python\\Pandas模块的导入及学习-数据分析\\bank.xls')是错的
# 文件所在的位置，文件路径用双杠\\,或是反方向单杠/, 或在文件路径前加一个r即可直接使用原路径的单杠\即：r'\'
# 'E:\\学习\\bank.csv' 或 'E:/学习/bank.csv' 或 r'E:\学习\bank.csv' 都是正确的

1.读取纯文本文件  --使用pandas.read_csv
1.1 读取csv，使用默认的标题行、逗号分隔符--有时csv文本中的数据编码不兼容，打开时出错，read_csv(..,encoding=’换一种更通用更高级的编码如gbk，gb18030等即可’)

 file_path_csv = 'E:\\学习\\Python\\Pandas模块的导入及学习-数据分析\\bank.csv'  # 文件路径为\\或/或r'\'都可
 bank_csv = pd.read_csv(file_path_csv)  # 使用pandas.read_csv读取文件
 print(bank_csv.head())   # 查看前几行数据，默认显示前5行数据
 print(bank_csv.shape)   # 查看数据的形状，返回（行数,列数）
 print(bank_csv.dtypes)  # 查看每列的数据类型

1.2 读取txt文件，自己制定分隔符

 file_path_txt = 'E:\\学习\\Python\\Pandas模块的导入及学习-数据分析\\bank.txt'
 bank_txt = pd.read_csv(file_path_txt, sep=' ', header=None, names=['name', 'password', 'balance'])
 # sep=' '空格为自己设定的分隔符,，默认是','号;header=None 如果不将数据集的第一行作为表头，需要设置header=None,
 # header指定行数用来作为列名，数据开始行数，如果需要第一行做表头 header=0 即可；names后面是自己加入指定的标题
 # bank_txt = pd.read_csv(file_path_txt, sep=' ', header=0)
 print(bank_txt)

2.读取excel文件--使用pandas.read_excel

 bank_excel = pd.read_excel('E:/学习/Python/Pandas模块的导入及学习-数据分析/bank.xls', sheet_name='user')
 print(bank_excel)

2.1 读取同一文件下的多个sheet数据--使用pandas.ExcelFile('文件名')

 excel_reader = pd.ExcelFile(r'C:\Users\Administrator\Desktop\test.xls')  # 指定文件
 """
 sheet_names = excel_reader.sheet_names   # 读取文件的所有表单名，得到列表
 # 读取表单的内容，i是表单名的索引，等价于pd.read_excel('文件', sheet_name=sheet_names[i])
 df_data = excel_reader.parse(sheet_name=sheet_names[i])
 """
 df1 = excel_reader.parse(sheet_name='')  # 读取表单内容
 df2 = excel_reader.parse(sheet_name='')

2.2 对excel的一些简单操作

 print(bank_excel.shape)  # 读取行列
 n_rows = bank_excel.shape[0]
 print(n_rows)  # 读取最大行
 n_columns = bank_excel.columns.size
 print(n_columns)  # 读取最大列
 print(bank_excel.iloc[0, 1])  # 读取指定行列内容   列和行的序号都从0开始，且iloc索引不含标题行
 # iloc与loc的区别在于，iloc[行号，列号]而不是loc[行名，列名]

 for i in range(n_rows):
     for j in range(n_columns):
         print(bank_excel.iloc[i, j])   # 遍历表格

 print(bank_excel.iloc[0].values)    # iloc索引 返回列表除标题外的第一行数据
 print(bank_excel.index.values)  # 获取行号并打印输出
 print(bank_excel.columns.values)  # 获取列名并打印输出

 r = bank_excel.loc[bank_excel['name'] == 'tom']   # 输出筛选的数据内容
 e = bank_excel.loc[bank_excel['balance'] >= 1000]
 s = bank_excel.loc[bank_excel['name'].str.contains('o')]   # 输出含有字符o的数据
 # 组合条件用&符号合并，每个条件判断都得带括号
 m = bank_excel.loc[(bank_excel['balance'] >= 1000) & (bank_excel['name'] == 'tom')]
 u = bank_excel.loc[:, ['name', 'balance']]   # 输出指定列的所有内容
 l = bank_excel.loc[0:2, ['name', 'balance']]   # 输出指定列的0-2行数据内容
 t = bank_excel.loc[0:2, ]   # 输出指定行0-2行数据
 print(r)
 print(s)

3.读取MySQL数据库

 import pymysql
 connect_mysql = pymysql.connect(host='S1KBB', user='sa', password='wwyy1234',database='test1', charset='utf8')
 # pymysql.connect(host=“你的数据库地址--一般是计算机名”, user=“用户名”,password=“密码”,database=“数据库名”,charset=“utf8”)
 mysql_page = pd.read_sql('select * from [test1].[dbo].[course]', con=connect_mysql)
 print(mysql_page)