如果探索的数据集侧重数据展示,可以选PandasGUI;如果只是简单了解基本统计指标,可以选择Pandas ProfilingSweetviz;如果需要做深度的数据探索,那就选择dtale

1. 4款 Python 自动数据分析神器真香啊:

如此优雅,4款 Python 自动数据分析神器真香啊_我爱Python数据挖掘的博客-CSDN博客_python自动分析数据

1. PandasGUI:

PandasGUI操作界面

PandasGUI更侧重数据展示,提供了10多种图表,通过可视的方式配置。

但数据统计做的比较简单,没有提供缺失值、相关系数等指标,数据转换部分也只开放了一小部分接口。

2.Pandas Profiling

Pandas Profiling操作界面

每列的详情包括:缺失值统计、去重计数、最值、平均值等统计指标和取值分布的柱状图。

列之间的相关系数支持Spearman、Pearson、Kendall 和 Phik 4 种相关系数算法。

与 PandasGUI 相反,Pandas Profiling没有丰富的图表,但提供了非常多的统计指标以及相关系数。

3. Sweetviz

SweetvizPandas Profiling类似,提供了每列详细的统计指标、取值分布、缺失值统计以及列之间的相关系数。

4. dtale

最后重磅介绍dtale,它不仅提供丰富图表展示数据,还提供了很多交互式的接口,对数据进行操作、转换。

1.2 Python小工具(2)-----数据分析(sweetviz库的使用):

Python小工具(2)-----数据分析(sweetviz库的使用)_飞在天空中的狗的博客-CSDN博客_python sweetviz

1.3 sweetviz包:快速可视化和数据集EDA

sweetviz包:快速可视化和数据集EDA_Smilecoc的博客-CSDN博客_sweetviz

1.4 【DTale】数据分析强大工具DTale的使用

【DTale】数据分析强大工具DTale的使用_Koma_zhe的博客-CSDN博客_dtale教程

1.5 用Python的dtale库进行数据探索

用Python的dtale库进行数据探索_菜鸟学Python数据分析的博客-CSDN博客

2. 学术论文快速作图(不同期刊格式图表):

Python小工具(3)----- 学术论文快速作图(不同期刊格式图表)_飞在天空中的狗的博客-CSDN博客

3. 多个文件多数据批量读取:

多个文件多数据批量读取_飞在天空中的狗的博客-CSDN博客_批量从多个文件中提取数据

import numpy as np
import os
# 加载数据路径
x_path = r'xxxx\BP_input_ai_data\\'
y_path = r'xxxx\BP_input_Y_data\\' def read(x_path,y_path):
x_files = os.listdir(x_path)
y_files = os.listdir(y_path)
file_num = len(x_files) # 文件夹下文件个数
print('======= 共计%s个数据 ======' % file_num)
x_files.sort(key=lambda x: int(x[:-4])) #倒着数第四位'.'为分界线,按照‘.’左边的数字从小到大排序 1.txt 2.txt
y_files.sort(key=lambda y: int(y[:-4]))
# 读取文件夹中每个数据
for i in range(file_num): # 这里循环 读每个文件下的所有数据
x_name = x_path + '\\' + x_files[i]
y_name = y_path + '\\' + y_files[i]
# print('====== %s读取数据... ======' % x_files[i])
x_data = np.loadtxt(x_name) # 读取数据
y_data = np.loadtxt(y_name)

4.批量修改文件夹中文件后缀名:

批量修改文件夹中文件后缀名_飞在天空中的狗的博客-CSDN博客_批量修改后缀名

待修改数据 1.doc 2.doc
目标格式: 1.txt 2.txt

在此文件夹新建一个记事本,输入代码 ren *.doc *.txt,保存,然后把这个记事本的后缀改为bat,双击运行就行
(无论多少的文件,运行这个bat文件都能同时修改后缀~)

Python 探索性数据分析工具(PandasGUI,Pandas Profiling,Sweetviz,dtale)以及学术论文快速作图science.mplstyle的更多相关文章

  1. Python数据分析工具:Pandas之Series

    Python数据分析工具:Pandas之Series Pandas概述Pandas是Python的一个数据分析包,该工具为解决数据分析任务而创建.Pandas纳入大量库和标准数据模型,提供高效的操作数 ...

  2. 关于Python的数据分析工具

    Python - 核心编程环境NumPy/SciPy - 用于快速.高效的数组和矩阵运算IPython - 用于Python的可视化交互开发matplotlib - 用于数据的图形可视化pandas ...

  3. 利用Python进行数据分析:【Pandas】(Series+DataFrame)

    一.pandas简单介绍 1.pandas是一个强大的Python数据分析的工具包.2.pandas是基于NumPy构建的.3.pandas的主要功能 --具备对其功能的数据结构DataFrame.S ...

  4. python Pandas Profiling 一行代码EDA 探索性数据分析

    文章大纲 1. 探索性数据分析 代码样例 效果 解决pandas profile 中文显示的问题 1. 探索性数据分析 数据的筛选.重组.结构化.预处理等都属于探索性数据分析的范畴,探索性数据分析是帮 ...

  5. python 数据分析工具之 numpy pandas matplotlib

    作为一个网络技术人员,机器学习是一种很有必要学习的技术,在这个数据爆炸的时代更是如此. python做数据分析,最常用以下几个库 numpy pandas matplotlib 一.Numpy库 为了 ...

  6. python数据分析工具安装集合

    用python做数据分析离不开几个好的轮子(或称为科学棧/第三方包等),比如matplotlib,numpy, scipy, pandas, scikit-learn, gensim等,这些包的功能强 ...

  7. 快速学习 Python 数据分析包 之 pandas

    最近在看时间序列分析的一些东西,中间普遍用到一个叫pandas的包,因此单独拿出时间来进行学习. 参见 pandas 官方文档 http://pandas.pydata.org/pandas-docs ...

  8. 利用Python进行数据分析-Pandas(第四部分-数据清洗和准备)

    在数据分析和建模的过程中,相当多的时间要用在数据准备上:加载.清理.转换以及重塑上.这些工作会占到分析时间的80%或更多.有时,存储在文件和数据库中的数据的格式不适合某个特定的任务.研究者都选择使用编 ...

  9. Python数据处理常用工具(pandas)

    目录 数据清洗的常用工具--Pandas 数据清洗的常用工具 Pandas常用数据结构series和方法 Pandas常用数据结构dataframe和方法 常用方法 数据清洗的常用工具--Pandas ...

  10. 利用Python进行数据分析(12) pandas基础: 数据合并

    pandas 提供了三种主要方法可以对数据进行合并: pandas.merge()方法:数据库风格的合并: pandas.concat()方法:轴向连接,即沿着一条轴将多个对象堆叠到一起: 实例方法c ...

随机推荐

  1. 【短道速滑六】古老的视频去噪算法(FLT_GradualNoise)解析并优化,可实现1920*1080 YUV数据400fps的处理能力。

    这个好像没有啥对应的论文可以找到,在百度上搜索也能找到一些相关的资料,不过就直接是代码,可以看到其实来自于一个叫做DScaler的项目,在github上目前还能找到该项目的完整资料. 详见:https ...

  2. 【django-vue】celery延迟任务、定时任务 django中使用celery 秒杀功能 双写一致性 首页轮播图定时更新 课程前端页面

    目录 上节回顾 字符编码 django-redis 今日内容 1 celery 执行异步任务,延迟任务,定时任务 延时任务 定时任务 2 django中使用celery 2.1 秒杀功能 2.1.1 ...

  3. drf-jwt配置文件 jwt签发认证源码分析 自定义用户签发认证 simpleui后台管理美化 权限控制 (acl、rbac)

    目录 昨日回顾 接口文档 自动生成接口文档 接口文档必备的内容 cookie-session-token发展史 token原理 base64 快速签发 定制返回格式 jwt的认证 drf-jwt配置文 ...

  4. Linux CentOS 7 离线安装.NET环境

    下载 下载.NET 例如: aspnetcore-runtime-6.0.15-linux-x64.tar.gz 复制 复制到如下目录: /usr/local/dotnet/aspnetcore-ru ...

  5. C++ Lambda 快速上手

    Lambda 听起来非常的牛逼,很容易就会联想到函数式编程或者 Lambda 演算这样的东西.但是在 C++里,没那么复杂,就把它当匿名函数用就好了 HelloWorld 对于降序排序,我们可以这样写 ...

  6. 2021暑假训练赛1 基于Codeforce#479(div3)

    A - Xor Sum 似乎是很明显的字典树问题(不会啊,最后搬了一个板子修修改改以后才过了 AcWing 相似题目:143. 最大异或对 最后得吐槽一下 memset 为什么能这么慢啊 Kora! ...

  7. 图扑虚拟现实解决方案,实现 VR 数智机房

    前言 如今,虚拟现实技术作为连接虚拟世界和现实世界的桥梁,正加速各领域应用形成新场景.新模式.新业态. 效果展示 图扑软件基于自研可视化引擎 HT for Web 搭建的 VR 数据中心机房,是将数据 ...

  8. git速查

  9. 使用cdn剥离js文件,让他们独立加载

  10. HOMER docker版本配置优化

    概述 HOMER是一款100%开源的针对SIP/VOIP/RTC的抓包工具和监控工具. HOMER是一款强大的.运营商级.可扩展的数据包和事件捕获系统,是基于HEP/EEP协议的VoIP/RTC监控应 ...