自己记录,仅供参考 在数据处理时经常会遇到数据类型不匹配的事情,为了方便查看各种存储方式中数据类型的改变.我把一些自己常用的整理方式记录下来,希望可以为以后数据类型的处理工作提供便利. 数据常用的基本处理类型 1.字符串 2.布尔类型 3.整数 4.浮点数 5.日期 (1)单个变量的数据类型转换及查看 单个变量的类型查看 In [82]: %paste a=' type(a) ## -- End pasted text -- Out[82]: str 单个变量的类型转换 数值转字符串 In [8

利用python将excel数据解析成json格式 转成json方便项目中用post请求推送数据自定义数据,也方便测试: import xlrdimport jsonimport requests def openWorkbook(): # 读取excel表的数据 workbook = xlrd.open_workbook(r'D:\data.xlsx') # 选取需要读取数据的那一页 sheet = workbook.sheet_by_index(0) # 获得行数和列数 rows = she

将Python脚本封装成exe可执行文件 http://www.cnblogs.com/renzo/archive/2012/01/01/2309260.html  cx_freeze是用来将 Python 脚本封装成可执行程序的工具,支持最新的Python3.2版本.生成的执行文件具有跨平台性,而且运行的系统无须安装Python.目前类似功能的工具还有py2exe 和 PyInstaller,其中貌似py2exe知名度最高了,但是很久没有更新了,至于打包质量不做评价,毕竟萝卜青菜各有所爱:Py

1.从csv文件导入数据 原理:with语句打开文件并绑定到对象f.不必担心在操作完资源后去关闭数据文件,with的上下文管理器会帮助处理.然后,csv.reader()方法返回reader对象,通过该对象遍历所读取文件的所有行. #!/usr/bin/env python import csv filename = 'ch02-data.csv' data = [] try: with open(filename) as f: reader = csv.reader(f) c = 0 for

Python数据可视化——使用Matplotlib创建散点图 2017-12-27 作者:淡水化合物 Matplotlib简述: Matplotlib是一个用于创建出高质量图表的桌面绘图包(主要是2D方面).该项目是由John Hunter于2002年启动的,其目的是为Python构建一个MATLAB式的绘图接口.如果结合Python IDE使用比如PyCharm,matplotlib还具有诸如缩放和平移等交互功能.它不仅支持各种操作系统上许多不同的GUI后端,而且还能将图片导出为各种常见的矢量

前两篇博客分别对拉勾中关于 python 数据分析有关的信息进行获取(https://www.cnblogs.com/lyuzt/p/10636501.html)和对获取的数据进行可视化分析(https://www.cnblogs.com/lyuzt/p/10643941.html),这次我们就用 sklearn 对不同学历和工作经验的 python 数据分析师做一个简单的工资预测.由于在前面两篇博客中已经了解了数据集的大概,就直接进入正题. 一.对薪资进行转换 在这之前先导入模块并读入文件,不

摘要: 本文讲述了热图.二维密度图.蜘蛛图.树形图这四种Python数据可视化方法. 数据可视化是任何数据科学或机器学习项目的一个重要组成部分.人们常常会从探索数据分析(EDA)开始,来深入了解数据,并且创建可视化确实有助于让问题更清晰和更容易理解,尤其是对于那些较大的高维度数据集.在项目结束的时候,能够以清晰的.简洁的和令人信服的方式呈现最终结果,这是非常重要的,让你的用户能够理解和明白. 你可能已经看过了我之前的文章<5种快速和简单的Python数据可视化方法(含代码)>(5 Quick

Python是一个脚本语言,被解释器解释执行.它的发布方式: .py文件:对于开源项目或者源码没那么重要的,直接提供源码,需要使用者自行安装Python并且安装依赖的各种库.(Python官方的各种安装包就是这样做的) .pyc文件:有些公司或个人因为机密或者各种原因,不愿意源码被运行者看到,可以使用pyc文件发布,pyc文件是Python解释器可以识别的二进制码,故发布后也是跨平台的,需要使用者安装相应版本的Python和依赖库. 可执行文件:对于非码农用户或者一些小白用户,你让他装个Pyth

Python数据预处理:机器学习.人工智能通用技术 白宁超  2018年12月24日17:28:26 摘要:大数据技术与我们日常生活越来越紧密,要做大数据,首要解决数据问题.原始数据存在大量不完整.不一致.有异常的数据,严重影响到数据建模的执行效率,甚至可能导致模型结果的偏差,因此要数据预处.数据预处理主要是将原始数据经过文本抽取.数据清理.数据集成.数据处理.数据变换.数据降维等处理后,不仅提高了数据质量,而且更好的提升算法模型性能.数据预处理在数据挖掘.自然语言处理.机器学习.深度学习算法中

前言 打包的代码通常都需要写一个简单的界面,一般用PyQt来写.用PyQt写界面的方法请戳这里:PyQt5的安装及基本配置    PyQt5教程 python提供了几个用来打包的模块,主要有py2app.py2exe.pyinstaller,其中第一个是用来打包来给mac用的,后两者是针对于windows系统. 关于py2exe和pyinstaller两者的比较: 对于pyinstaller和py2exe两种把Python文件打包成exe的可执行文件的方法,都有各自的优缺点.但是最终目的都是为了

python数据格式化之pprint 2017年06月17日 13:56:33 阅读数:2291 简介 pprint模块 提供了打印出任何Python数据结构类和方法. 模块方法: 1.class pprint.PrettyPrinter(indent=1,width=80,depth=None, stream=None) 创建一个PrettyPrinter对象 indent --- 缩进,width --- 一行最大宽度, depth --- 打印的深度,这个主要是针对一些可递归的对象,如果超

python --数据可视化 一.python -- pyecharts库的使用 pyecharts--> 生成Echarts图标的类库 1.安装: pip install pyecharts pip install pyecharts_snapshot 2.入门test 首先,测试绘制个图表 from pyecharts import Bar bar = Bar("我的第一个图表", "这里是副标题") bar.add("服装", [&q

本来要查一下json系列化自定义对象的一个问题,然后发现这篇博客(https://www.cnblogs.com/yyds/p/6563608.html)很全面,感谢作者,关于python序列化的知识点我也学的七七八八了,里面提到了一些我之前感到模糊的地方,看完后觉得云雾慢慢散开了,然后就转载了这篇博客来做个总结. 本节内容 前言 json模块 pickle模块 shelve模块 总结 一.前言 1. 现实需求 每种编程语言都有各自的数据类型,其中面向对象的编程语言还允许开发者自定义数据类型(如

windows环境下把Python代码打包成独立执行的exe可执行文件   有时候因为出差,突然急需处理一批数据.虽然写好的脚本存储在云端随用随取,然而编译的环境还需要重新搭建,模块也需要重新装载,从头到尾这么一遍下来,也是要花费可观的时间成本的. 有没有什么办法,可以让.py文件像可执行文件那样即点即用? py2exe模块 py2exe,顾名思义,就是将.py文件转换成可执行的.exe文件,这样就可以摆脱编译环境和预载模块的限制,在任一windows环境下运行. 一.安装py2exe 通过pi

1.python2将base64数据写成图片,并将数据转为16进制字符串的方法 import binascii img = u'R0lGODlhagAeAIcAAAAAAAAARAAAiAAAzABEAABERABEiABEzACIAACIRACIiACIzADMAADMRADMiADMzADd3REREQAAVQAAmQAA3QBVAABVVQBMmQBJ3QCZAACZTACZmQCT3QDdAADdSQDdkwDungDu7iIiIgAAZgAAqgAA7gBmAABmZgBVqgBP7g

Python 的科学栈相当成熟,各种应用场景都有相关的模块,包括机器学习和数据分析.数据可视化是发现数据和展示结果的重要一环,只不过过去以来,相对于 R 这样的工具,发展还是落后一些. 幸运的是,过去几年出现了很多新的Python数据可视化库,弥补了一些这方面的差距.matplotlib 已经成为事实上的数据可视化方面最主要的库,此外还有很多其他库,例如vispy,bokeh, seaborn,  pyga, folium 和networkx,这些库有些是构建在 matplotlib 之上,还有

简单数据交换格式 CSV: 一般用  open()  函数和字符串拆分  split()  方法,但python有内置的csv模块 读: import csv with open(r"C:\User\Jery\Desktop\测试.csv", 'r', encoding='utf-8')as rf: r = csv.reader(rf, dialect=csv.excel) for row in r: print("|".join(row)) 写: import c

1 引言 1-1 以example_mnist为例,如何加载属于自己的测试集? 首先抛出一个问题:在example_mnist这个例子中,测试集是人家给好了的.那么如果我们想自己试着手写几个数字然后验证识别效果又当如何呢? 观察CAFFE_ROOT/examples/mnist/下的lenet_train_test.prototxt文件,发现里面既给出了训练集的路径,又给出了测试集的路径.因此答案很显然了,我们可以把自己的测试集做成leveldb(或lmdb)格式的,然后在lenet_train

目录 <Python数据科学手册>第五章机器学习的笔记 0. 写在前面 1. 判定系数 2. 朴素贝叶斯 3. 自举重采样方法 4. 白化 5. 机器学习章节总结 <Python数据科学手册>第五章机器学习的笔记 0. 写在前面 参考书 <Python数据科学手册>第五章"机器学习" 工具 Jupyter Lab 作用 给书中没有的知识点做补充. 1. 判定系数 定义 判定系数(coefficient of determination),也叫可决系数

一.基本用法 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-1,1,50) # 生成-1到1 ,平分50个点 y = 2*x+1 plt.plot(x,y) # 把 x 和 y 展示出来 plt.show() # 脚本当中要用.show()图才会出来 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-1,1,50) # 生

Python 程序打包工具 Python 是一个脚本语言,被解释器解释执行.它的发布方式: .py 文件:对于开源项目或者源码没那么重要的,直接提供源码,需要使用者自行安装 Python 并且安装依赖的各种库.(Python 官方的各种安装包就是这样做的)..pyc 文件:有些公司或个人因为机密或者各种原因,不愿意源码被运行者看到,可以使用 pyc 文件发布,pyc 文件是 Python 解释器可以识别的二进制码,故发布后也是跨平台的,需要使用者安装相应版本的 Python 和依赖库.可执行文件