[ python数据分析笔记——数据加载与整理] https://mp.weixin.qq.com/s?__biz=MjM5MDM3Nzg0NA==&mid=2651588899&idx=4&sn=bf74cbf3cd26f434b73a581b6b96d9ac&chksm=bdbd1b388aca922ee87842d4444e8b6364de4f5e173cb805195a54f9ee073c6f5cb17724c363&mpshare=1&scene=…

数据的检索.加工与存储 1.利用Numpy和pandas对CSV文件进行写操作 对CSV文件进行写操作,numpy的savetxt()函数是与loadtxt()相对应的一个函数,他能以诸如CSV之类的区隔型文件格式保存数组: np.savetxt('np.csv',a,fmt='%.2f',delimiter=',',header="#1,#2,#3,#4") 上面的函数调用中,我们规定了用以保存数组的文件的名称.数组.可选格式.间隔符(默认为空格符)和一个可选的标题. 利用随机数组来…

最近在看Python数据分析这本书,随手记录一下读书笔记. 工作环境 本书中推荐了edm和ipython作为数据分析的环境,我还是刚开始使用这种集成的环境,觉得交互方面,比传统的命令行方式提高了不少. 使用方法 #edm shell (edm)bash-3.2$ ipython Python 2.7.13 |Enthought, Inc. (x86_64)| (default, Mar 2 2017, 08:20:50) Type "copyright", "credits&…

1 例子1 from pandas import read_csv; df = read_csv('H://pythonCode//4.1//1.csv') df 截图 1.1 修改表的内容编码 df = read_csv('D://PA//4.1//1.csv', encoding='UTF-8') 2 去掉重复行 (1)读取一个csv from pandas import read_csv; df = read_csv('H:\\python数据分析基础与实践 VIP教程\\章节4数据处理\…

速查笔记 使用实例 Pandas-数据导入 (未完成) Pandas-数据探索 基础属性 shape indexs columns values dtype/dtypes 汇总和计算描述统计 count() value_count() describe() head() tail() Pandas-数据整理 丢弃值 drop() 缺失值处理 isnull() & notnull() dropna() fillna() 值替换 replace() get_dummies() 重复值处理 dupli…

主要内容: 创建数据表 查看数据表 数据表索引.选取部分数据 通过标签选取.loc 多重索引选取 位置选取.iloc 布尔索引 Object Creation 新建数据 用list建series序列 In [73]: s = pd.Series([1,3,5,np.nan,6,8]) In [74]: s Out[74]: 0 1.0 1 3.0 2 5.0 3 NaN 4 6.0 5 8.0 dtype: float64 用numpy array建dataframe In [75]: date…

1 按照空格将一列的内容分为两列 from pandas import Series; from pandas import DataFrame; from pandas import read_csv; #字段的拆分:按照固定的字符 拆分已有的字符串 #函数:splite(sep,n.expand=false) #参数的意思 # ()用于分割的字符串 #()分割为多少咧 #()是否展开为数据框 默认为false df = read_csv("H:\\pythonCode\\4.7\\data.…

1 将手机号码分开为运营商,地区和号码段 from pandas import read_csv; df = read_csv("H:\\pythonCode\\4.6\\data.csv"); #转换成字符数据 方便用slice df['tel'] = df['tel'].astype(str); #字符的抽取:根据已知列数据的开始和结束的位置 抽取新的列 slice(start,stop) #运营商 bands = df[, ); #地区 areas = df[, ); #号码段…

一.shuffle函数: import numpy.random def shuffleData(data): np.random.shufflr(data) cols=data.shape[1] X=data[:,0:cols-1] Y=data[:,cols-1:] return X,Y 二.np.random.permutation()函数 这个函数的使用来随机排列一个数组的, 一维数组: 对多维数组来说,是多维随机打乱而不是1维,例如: 如果要利用次函数对输入数据X.Y进行随机排序,且要…

[读书笔记与思考]<python数据分析与挖掘实战>-张良均 最近看一些机器学习相关书籍,主要是为了拓宽视野.在阅读这本书前最吸引我的地方是实战篇,我通读全书后给我印象最深的还是实战篇.基础篇我也看了,但发现有不少理论还是讲得不够透彻,个人还是比较倾向于 <Machine Learning>--Tom M.Mitchell,Andrew 的 machine learning 课程,或周华志的<机器学习>,Jiawei Han 的 <data mining>.…