报错:IllegalCharacterError 其原因是字段中包含了unicode字符. 解决方案: # 首先,安装python包xlsxwriter pip install xlsxwriter # 其次,用'xlsxwriter'替换默认引擎'openpyxl' df.to_excel("test.xlsx", engine='xlsxwriter',index=False,sheet_name="Sheet1")…

1. file_name = 'aa.xlsx' df.to_excel(file_name) #这种file_name不能重复,已经生成过的就会报错 writer = pd.ExcelWriter(file_name); df.to_excel(writer) #只要file_name 没被占用,就可以覆盖写入…

df.to_excel(outpath,float_format='%.2f')…

1.to_sql def to_sql(self, name, con, schema=None, if_exists="fail", index=True, index_label=None, chunksize=None, dtype=None, method=None,): name: 输出的表名 con: 数据库连接对象 if_exists: 三个模式:fail,若表存在,则不输出;replace;若表存在,覆盖原来表里的数据;append:若表存在,将数据写到原表的后面.默认…

网易云课堂该课程链接地址 https://study.163.com/course/courseMain.htm?share=2&shareId=400000000398149&courseId=1006383008&_trace_c_p_k2_=cd6d8636673a4b03b5f77ca55979c1a7 仅存单个excel表格就用df.to_excel更简单 pd.ExcelWriter保存结果到已存在的excel文件中,并支持多个sheet表格写入excel. Pytho…

Signature: df.to_excel( ['excel_writer', "sheet_name='Sheet1'", "na_rep=''", 'float_format=None', 'columns=None', 'header=True', 'index=True', 'index_label=None', 'startrow=0', 'startcol=0', 'engine=None', 'merge_cells=True', 'encoding…

read_excel() 加载函数为read_excel(),其具体参数如下. read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None,names=None, parse_cols=None, parse_dates=False,date_parser=None,na_values=None,thousands=None, convert_float=True, has_index_na…

这几天在用 Python3 研究一个爬虫,最后一个需求是把爬下来的20+个csv文件整合到一个excel表里的不同sheets. 初版的核心代码如下: while year <= 2018: csvPath = sys.path[0] + '/result/%d.csv' % year excelPath = sys.path[0] + '/result.xlsx' csvReader = pandas.read_csv(csvPath, encoding='utf_8_sig') excelW…

如果只是想把一个DataFrame保存为单独的一个Excel文件,那么直接写: data.to_excel('xxx.excel','sheet1',index=False) 但是这样做,只会保存为单个Excel文件和这个文件中的单个表. 如果先前存在有同名的Excel文件,这样做会把之前的Excel文件覆盖掉,不会起到在原文件中生成新的sheet的作用. 解决方法: if not os.path.exists(mon_excel_path): data_write.to_excel(mon_e…

学习自:pandas1.2.1documentation 0.常用 1)读写 ①从不同文本文件中读取数据的函数,都是read_xxx的形式:写函数则是to_xxx: ②对前n行感兴趣,或者用于检查读进来的数据的正确性,用head(n)方法:类似的,后n行,用tail(n)--如果不写参数n,将会是5行:信息浏览可以用info()方法: ③检查各列的类型,用dtypes属性. 2)取子集 ①这一部分的内容与numpy的切片.索引部分很类似: ②可以通过shape属性查看DataFrame与Seri…

把药品名称导入到sheet1的A字段 # -*- coding: utf-8 -*-"""Created on Fri Dec  9 09:38:58 2016判断一个名称归类为药品,药材,辅料,药包材缺乏经典中药方剂,蒙药,等少数民族药品,这些被归入药材,需要改善@author: Administrator"""import xlrd,re,pandasexcelFilename="test.xlsx"#药品的关键词rex_…

原创: qq:231469242 import xlrdimport pandas,numpyimport matplotlib.pyplot as pltimport pandas as pd #参数#报告时间reportdate="2016/12/22"#省份admin="江西"fileName="江西2016年第4期药品质量公告不符合规定药品汇总(假冒).xls"year="2016年"#文件名file="江西…

原创,转载请标明 QQ:231469242 # -*- coding: utf-8 -*- """Python3.0 Created on Sat Nov 26 08:54:26 2016 需要的安装包 pip install pytagcloud pip install pygame pip install simplejson @author: daxiong """ import pytagcloud #wordcounts 是一个列表,元…

在Ubuntu下安装Python模块通常有3种方法:1)使用apt-get:2)使用pip命令(推荐);3)easy_instal 可安装方法参考:[转]linux和windows下安装python集成开发环境及其python包 ——[二.安装] 参考:[Install Python packages on Ubuntu 14.04] 使用pip安装以下包时可能会出现问题(某些基础库缺失),导致安装失败,所以可确定系统中是否存在以下基础库: Ubuntu dependencies A varie…

10 Minutes to pandas This is a short introduction to pandas, geared mainly for new users. You can see more complex recipes in the Cookbook Customarily, we import as follows: In [1]: import pandas as pd In [2]: import numpy as np In [3]: import matplo…

没有matlab那样的保存中间变量可以用jupyter创建文件然后在pycharm中打开但是字体很奇怪- -所以还是用excel的中间文件方式#测试涨停# ret = asc.getPctChange('600868.SH,600000.SH','2016125','20161225','000300.SH')df = pd.read_excel("d:/temp.xlsx",header=0)# ret.to_excel("d:/temp.xlsx")…

准确的客户分类的结果是企业优化营销资源的重要依据,本文利用了航空公司的部分数据,利用Kmeans聚类方法,对航空公司的客户进行了分类,来识别出不同的客户群体,从来发现有用的客户,从而对不同价值的客户类别提供个性化服务,指定相应的营销策略. 一.分析方法和过程 1.数据抽取——>2.数据探索与预处理——>3.建模与应用 传统的识别客户价值应用最广泛的模型主要通过3个指标(最近消费时间间隔(Recency).消费频率(Frequency)和消费金额(Monetary))来进行客户细分,识别出价值高…

10分钟入门 pandas 评:我跟作者的智商差距是有多大,才能让我用60分钟看完作者认为10分钟的内容... 详细内容见 Cookbook 习惯上我们先导入 : In [1]: import pandas as pd In [2]: import numpy as np In [3]: import matplotlib.pyplot as plt 创建序列(Series),输入可为列表(list): In [4]: s = pd.Series([1,3,5,np.nan,6,8]) In […

在数据的常见分布中,有一种是一对多存储的数据,即一个是key,其他改key对应的多个value.例如气象数据等,每天有很多组,又或者是一个球员,他每天得多少分等等.我做这个东西有三种方法,即:常规编程法,数据库查询法以及pandas包提供的group方法.第一种方法我自己写出的代码比较繁琐,这里不做介绍.   示例数据如下,统计每天对应的level的均值及方差等. Date level 2014/6/10 8.11 2014/6/10 8.02 2014/6/11 8.04 2014/6/11…

一.pandas模块是基于Numpy模块的,pandas的主要数据结构是Series和DadaFrame,下面引入这样的约定: from pandas import Series,DataFrame import pandas as pd 二.主要数据结构对象 1.Series是一种类似一维数组的对象,由一组数据(各种numpy数据类型)与其相对应的数据标签组成(即索引)组成.可以通过其values和index属性来获取其数组表示形式和索引对象: >>> from pandas impo…

导入导出数据 在导入,导出DataFrame数据时,会用到各种格式,分为 to_csv ;to_excel;to_hdf;to_sql;to_json;to_msgpack ;to_html;to_gbq ;to_stata;to_clipboard;to_pickle 可参照IO Tools分类. 输出指定colums是,会用到arg colums,例如 to_csv(filename,columns=["col1","col2"],......) # 此处注意的…

前言 从智联招聘爬取相关信息后,我们关心的是如何对内容进行分析,获取用用的信息. 本次以上篇文章“5分钟掌握智联招聘网站爬取并保存到MongoDB数据库”中爬取的数据为基础,分析关键词为“python”的爬取数据的情况,获取包括全国python招聘数量Top10的城市列表以及其他相关信息. 一.主要分析步骤 数据读取 数据整理 对职位数量在全国主要城市的分布情况进行分析 对全国范围内的职位月薪情况进行分析 对该职位招聘岗位要求描述进行词云图分析,获取频率最高的关键字 选取两个城市,分别分析月薪分…

爬取前的准备: BeautifulSoup的导入:pip install BeautifulSoup4 requests的导入:pip install requests 下载jupyter notebook:pip install jupyter notebook 下载python,配置环境(可使用anocanda,里面提供了很多python模块) json 定义 :是一种格式,用于数据交换. Javascript 对象 定义 : 一种javascript的引用类型 中文格式除了' utf-8…

本文原创,转载请标识出处: http://www.cnblogs.com/xiaoxuebiye/p/7223774.html 导入数据: pd.read_csv(filename):从CSV文件导入数据 pd.read_table(filename):从限定分隔符的文本文件导入数据 pd.read_excel(filename):从Excel文件导入数据 pd.read_sql(query, connection_object):从SQL表/库导入数据 pd.read_json(json_st…

笔者最近迷上了数据挖掘和机器学习,要做数据分析首先得有数据才行.对于我等平民来说,最廉价的获取数据的方法,应该是用爬虫在网络上爬取数据了.本文记录一下笔者爬取天猫某商品的全过程,淘宝上面的店铺也是类似的做法,不赘述.主要是分析页面以及用Python实现简单方便的抓取. 笔者使用的工具如下 Python 3--极其方便的编程语言.选择3.x的版本是因为3.x对中文处理更加友好. Pandas--Python的一个附加库,用于数据整理. IE 11--分析页面请求过程(其他类似的流量监控工具亦可).…

前言:本文建议有一定Python基础和前端(html,js)基础的盆友阅读. 金秋九月,丹桂飘香,在这秋高气爽,阳光灿烂的收获季节里,我们送走了一个个暑假余额耗尽哭着走向校园的孩籽们,又即将迎来一年一度伟大祖国母亲的生日趴体(无心上班,迫不及待想为祖国母亲庆生!). 那么问题来了,去哪儿玩呢?百度输了个"国庆",出来的第一条居然是"去哪里旅游人少"--emmmmmmm,因缺思厅. 于是我萌生了通过旅游网站的景点销量来判断近期各景点流量情况的想法(这个想法很危险啊).…

十分钟学会Pandas 这是关于Pandas的简短介绍主要面向新用户.你可以参考Cookbook了解更复杂的使用方法 习惯上,我们这样导入: In [1]: import pandas as pd In [2]: import numpy as np In [3]: import matplotlib.pyplot as plt 创建对象 请参阅数据结构简介部分 通过传递一个列表的值创建一个Series,让Pandas创建一个默认的整数索引: In [4]: s = pd.Series([1,3…

DataFrame使用总结1(超实用): 1. 合并两个表 frame = [df1, df2] df = pd.concat(frame) res = pd.merge(df, df1, on=['key', 'key1'], how='inner') res = pd.merge(df, df1, left_on=['key'], left_on=['key1'], how='inner') 合并表的操作(Merge, join, and concatenate) http://pandas…

一.Pandas Python Data Analysis Library或Pandas是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的.Pandas纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具.Pandas提供了大量能使我们快速便捷地处理数据的函数和方法. 二.Series Series是一维数组,与Numpy中的一维array类似.二者与Python基本的数据结构List也很相近,其区别是List中的元素可以是不同的数据类型,而Array和Serie…

需求分析: 判断excel2表中的某个唯一字段是否满足条件,如果满足条件,就在excel1中进行查询,若存在excel中,就将该数据进行剔除. python脚本的实现: from __future__ import division import pandas as pd #指定文件的路径 imputfile= 'C:\\Users\\Administrator\\Desktop\\excel1.xlsx' #原始表excel1 imputfile1= 'C:\\Users\\Administr…