1.pandas打开和读取文件
最近在公司在弄数据分析相关的项目,数据分析就免不了要先对数据进行处理,也就自然避不开关于excel文档的初始化操作了。
一段时间之后,发现pandas更加符合我的项目要求,所以,将一些常规操作记录下来,便于以后查阅。
那在开始下面的操作之前,下载pandas模块是很有必要的
文件打开
首先在刚开始的时候需要导入模块pandas
import pandas as pd
pandas的打开文件一共有三种方法,分别对应三种文件,即:
| 数据类型 | 说明 | Pandas读取方式 |
|---|---|---|
| csv,tsv,txt | 用逗号分割,tab分割的纯文本文件 | pd.read_csv |
| excel | 微软xls或者xlsx文件 | pd.read_excel |
| mysql | 关系型数据库表 | pd.read_sql |
我现在的工作需求中,现阶段最常用的是.xlsx的文件读取
.xlsx文件打开
df = pd.read_excel('1.xlsx') # 文件名或文件路径
print(df)
id enterprise
0 18950 中国农业大学资源与环境学院
1 18949 山东恒丰农业科技有限公司
2 18948 石家庄市民丰种子有限公司、北京中农臻中农业科技发展有限公司
3 18947 九原区种子有限责任公司
4 18946 中国农业大学和武汉隆福康农业发展有限公司
... ... ...
6215 12735 浙江省农业科学院与核技术利用研究所、湖州科奥种业有限公司
6216 12734 浙江省农科院作核所、杭州市种子技术推广站
6217 12733 浙江省农业科学院作核所、湖州市种子公司
6218 12732 浙江省农科院作核所、杭州市种子公司
6219 12731 浙江省农业科学院作物与核技术利用研究所、宁波市农业科学研究院生物技术研究所、浙江之豇种业有限...
[6220 rows x 2 columns]
这样就读取了.xlsx类型的文件
文件读取
.shape
有些时候我只是想看看这个表的尺寸大约是多大的,就可以用这个方法
df.shape
(6220, 2)
该方法会返回这个表的(行数,列数)
.columns
有些时候我想看看这个表的标题,就是第一行的信息
df.columns
Index(['id', 'enterprise'], dtype='object')
该方法会返回一个列表形式的数据
.head()
当然,有些时候也不需要那么多的数据读取,可能有些时候只想读取前几行
该方法会默认的读取数据的前5行数据
def head(self: FrameOrSeries, n: int = 5) -> FrameOrSeries:
df.head()
id enterprise
0 18950 中国农业大学资源与环境学院
1 18949 山东恒丰农业科技有限公司
2 18948 石家庄市民丰种子有限公司、北京中农臻中农业科技发展有限公司
3 18947 九原区种子有限责任公司
4 18946 中国农业大学和武汉隆福康农业发展有限公司
当然也可以修改读取的行数
df.head(10)
.index
读取数据的时候,也许发现了,在最左侧有一列数据,他本不是在数据当中的数据,这一列就是数据的索引,就像数据库当中的id一样
那可以通过这个方法来查看索引列
df.index
RangeIndex(start=0, stop=6220, step=1)
1.pandas打开和读取文件的更多相关文章
- 分享:Perl打开与读取文件的方法
在Perl中可以用open或者sysopen函数来打开文件进行操作,这两个函数都需要通过一个文件句柄(即文件指针)来对文件进行读写定位等操作. Perl打开与读取文件的方法,供大家学习参考.本文转自: ...
- pandas模块之读取文件
首先我们来看一个文件 1 男 北京 刘一 我笑 #跳过此行,序号1 2 女 上海 刘珊 你笑 3 男 杭州 刘五 他笑 #跳过此行,序号四 4 女 重庆 刘六 不笑了 下面来分析内容,并使用参数 1 ...
- java io流(字符流) 文件打开、读取文件、关闭文件
java io流(字符流) 文件打开 读取文件 关闭文件 //打开文件 //读取文件内容 //关闭文件 import java.io.*; public class Index{ public sta ...
- pandas.read_csv()函数读取文件时,关于“header=None”影响读取列数区间的右闭合总结
对于一个没有字段名标题的数据,如data.csv 1.获取数据内容.pandas.read_csv("data.csv")默认情况下,会把数据内容的第一行默认为字段名标题. imp ...
- Groovy读取文件信息
1. eachLine -- 打开和读取文件的每一行 new File("foo.txt").eachLine { println it.toUpperCase(); } 2. r ...
- Pandas读取文件
如何使用pandas的read_csv模块以及其他读取文件的模块?? 一起来看一看 Pandas中read_csv和read_table的区别 注:使用pandas读取文件格式为pandas特有的da ...
- python 文件的打开与读取
python 文件的打开与读取 其实网上其他人写的都挺好的,我也是看他们的.办公室用的2.7.笔记本用的3.6.发现没有file 类,尴尬了 with open(r'C:\Users\HBX\Docu ...
- Python文件操作:文件的打开关闭读取写入
Python文件操作:文件的打开关闭读取写入 一.文件的打开关闭 Python能以文本和二进制两种方式处理文件,本文主要讨论在Python3中文本文件的操作. 文件操作都分为以下几个步骤: 1.打开文 ...
- python 读取文件夹中所有同类型的文件 并用pandas合并
import globimport osimport pandas as pd read_path = 'D:/Data' # 要读取的文件夹的地址read_excel = glob.glob(os. ...
随机推荐
- Python 简明教程 --- 5,Python 表达式与运算符
微信公众号:码农充电站pro 个人主页:https://codeshellme.github.io 靠代码行数来衡量开发进度,就像是凭重量来衡量飞机制造的进度. -- Bill Gates 目录 1, ...
- sublime清空控制台
解决方法 – 只需运行print('\n'*100)打印100个换行符,您将无法看到任何以前的输出,除非你向上滚动一些距离.
- 一文读懂 Redis 分布式部署方案
为什么要分布式 Redis是一款开源的基于内存的K-V型数据库,因为内存访问速度快,一般被用来做系统的缓存. Redis作为单机部署能够支持业务简单,数据量不大的系统需求,但在实际应用中,一旦系统规模 ...
- hive如何获取当前时间
在大多数的sql中获取当前时间都是用now()函数即可,hive获取当前时间的函数与sql 不一样 在impala中执行now()函数时是可以通过的 然而在hive中执行now()函数却报错: hiv ...
- Spring Cloud Alibaba基础教程:Sentinel Dashboard中修改规则同步到Apollo
在之前的两篇教程中我们分别介绍了如何将Sentinel的限流规则存储到Nacos和Apollo中.同时,在文末的思考中,我都指出了这两套整合方案都存在一个不足之处:不论采用什么配置中心,限流规则都只能 ...
- 每天一个Linux命令(ls)
前提 文件路径的描述方式 只有1个盘,叫根目录/ 绝对路径:从根目录开始描述的文件路径描述方式,如/a/b/c.以/打头的路径描写法一定是绝对路径 相对路径:以相对于当前路径的文件路径描述 ...
- 【git】配置git命令行别名
引言:由于有些git命令较长,记起来比较麻烦,为了git工具使用的方便,为命令行取别名有很大的必要. 1.在家目录添加.gitconfig文件. 此文件在创建git仓库时,一般是没有的,需要手动添加. ...
- 洛谷 P3592 [POI2015]MYJ
题意 给定\(m\)个区间\([a_i,b_i]\)以及\(c_i\),对于一个含有\(n\)个元素的序列\(ans[]\),区间\(i\)对其的贡献为\(\min\{ans_i\}(i\in[a_i ...
- CodeFoeces 1215 D Ticket Game(数学,思维)
CodeFoeces 1215 D Ticket Game 题目大意 M和B轮流玩游戏(每一轮M先手 现在给出一个长度为偶数的串,包含字符'?'和数字 现在两人依次在'?'上填数字\(0\)~\(9\ ...
- unity position 记录
localPosition为自身矩形中心点(Pivot)与其父节点矩形中心点(Pivot)的相对位置坐标,与自身锚点(Anchors)无关.anchoredPosition为矩形中心点(Pivot)与 ...