Python是门很神奇的语言,历经时间和实践检验,受到开发者和数据科学家一致好评,目前已经是全世界发展最好的编程语言之一。简单易用,完整而庞大的第三方库生态圈,使得Python成为编程小白和高级工程师的首选。

在本文中,我们会分享不同于市面上的python数据科学库(如numpy、padnas、scikit-learn、matplotlib等),尽管这些库很棒,但是其他还有一些不为人知,但同样优秀的库需要我们去探索去学习。

1. Wget

从网络上获取数据被认为是数据科学家的必备基本技能,而Wget是一套非交互的基于命令行的文件下载库。ta支持HTTP、HTTPS和FTP协议,也支持使用IP代理。因为ta是非交互的,即使用户未登录,ta也可以在后台运行。所以下次如果你想从网络上下载一个页面,Wget可以帮到你哦。

安装

pip isntall wget

用例

import wget

url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3'

filename = wget.download(url)

Run and output

100% [................................................] 3841532 / 3841532
filename
'razorback.mp3'

2. Pendulum

对于大多数python用户来说处理时期(时间)数据是一件令人抓狂的事情,好在Pendulum专为你而来。它是python内置时间类的良好备选方案,更多内容可查看官方文档 https://pendulum.eustace.io/docs/

安装

pip install pendulum

用例

import pendulum

dt_toronto = pendulum.datetime(2012, 1, 1, tz='America/Toronto')
dt_vancouver = pendulum.datetime(2012, 1, 1, tz='America/Vancouver')
print(dt_vancouver.diff(dt_toronto).in_hours())

Run and output

3

3.imbalanced-learn

常见的机器学习分类算法都默认输入的数据是均衡数据,即假设训练集数据有A和B两个类别,A和B数据量大体相当。如果A和B数据量差别巨大,那么训练的效果会不理想。在实际收集和整理的数据,其实绝大多数是非均衡数据,这对于机器学习分类算法真的是个很大的问题。好在有imbalanced-learn库可以很好的解决这个问题。该库兼容scikit-learn,并且是作为scikit-learn-contrib项目的一部分。当你再遇到非均衡数据,记得试试它哦!

安装

pip install -U imbalanced-learn
#或者
conda install -c conda-forge imbalanced-learn

该库有高质量的文档 http://imbalanced-learn.org/en/stable,目前该库支持scikit-learn、keras、tensorflow库

4. FlashText

在NLP任务重经常会遇到替换指代同一个意思的多个词语,或者从句子中抽取关键词。通常我们一般的做法是使用正则表达式来完成这些脏活累活,但如果要操作的词语数量达到几千上万,使用正则这种方法就会变得很麻烦。FlashText库是基于FlashText算法,该库的最强大之处在于程序运行时间不受操作词语数量影响,即运行时间与操作的词汇数量无关。 因此特别适合应用到 python文本分析 中去。

4.1 安装

pip install flashtext

4.2 用例

4.2.1 抽取关键词

我们都知道 Big Apple 指代纽约。所以抽取纽约这个城市词时候,我们要考虑到相同意思的不同词语。

from flashtext import KeywordProcessor

#设置关键词处理器
keyword_processor = KeywordProcessor()

#设置关键词及其近义词
keyword_processor.add_keyword('Big Apple', 'New York') #遇到Big Apple就会识别为New York
keyword_processor.add_keyword('Bay Area')

keywords_found = keyword_processor.extract_keywords("I love Big Apple and Bay Area.")

keywords_found

Run and output

['New York', 'Bay Area']

4.2.2 替换关键词

我们也经常需要将原始文本进行处理,比如将New Delhi(新德里)替换为NCR region(国家首都区)

keyword_processor.add_keyword('New Delhi', 'NCR region')
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
new_sentence

Run and output

'I love New York and NCR region.'

想了解更多,请查看FlastText官方文档

https://flashtext.readthedocs.io/en/latest/#

5. Fuzzywuzzy

这个库的名字就有点怪,但ta拥有强大的字符串匹配功能。可以轻松实现字符串比较比率(comparison ratios),分词比率(token ratios)等操作。它还可以方便地匹配保存在不同数据库中的记录。

安装

pip install fuzzywuzzy

用例

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

# Simple Ratio
print(fuzz.ratio("this is a test", "this is a test!"))
# Partial Ratio
print(fuzz.partial_ratio("this is a test", "this is a test!"))

Run and output!

97
100

更多有趣的例子可见 fuzzywuzzy库github账号 https://github.com/seatgeek/fuzzywuzzy

6.PyFlux/PyFTS.

在机器学习领域中经常遇到时间序列分析这种问题。PyFlux是专门为解决时间序列问题而开发的python库。这个库提供了很多现代时间序列算法,单不仅仅限于ARIMA、GARCH和VAR这三种模型。简而言之,PyFlux为我们分析时间序列数据提供了可能,你值得拥有。

安装

pip install pyflux

PyFlux用例可查看该库的文档 https://pyflux.readthedocs.io/en/latest/index.html

类似的时间序列库还有PyFTS, 教程链接

https://towardsdatascience.com/a-short-tutorial-on-fuzzy-time-series-dcc6d4eb1b15

文档链接

https://pyfts.github.io/pyFTS/.

7.Ipyvolume

数据科学中一个重要的部分就是分析结果的展示与交流,而良好的视觉传达是很有优势的。IPyvolume是3D可视化库,可以以最小的初始化设置就能在jupyter notebook中使用。做一个恰当的类比:matplotlib的imshow是2d数组,而IPyvolume的volshow是3d数组。

安装

pip install ipyvolume
#或者
conda install -c conda-forge ipyvolume

用例

8. Dash

Dash是用来为开发web应用的高生产率工具库,该库基于Flask、Plotly.js和React.js,不需要懂javascript只用python就能让我们制作出美美的的UI元素,如下来列表、滑动条和图表。这些应用可以在浏览器中渲染,具体文档可查看 https://dash.plot.ly/

安装

pip install dash==0.29.0
pip install dash-html-components==0.13.2  #Dash库的HTML组件
pip install dash-core-components==0.36.0  #Dash库核心组件
pip install dash-table==3.1.3  #交互数据库表单(新)

用例

下面是一个下拉式菜单,可以选择股票代码的pandas Dataframe数据类型作为输入,渲染成动态交互的折线图

9. Gym

Gym是一个可以开发强化学习算法的工具包。 它兼容数值计算库,如TensorFlow或Theano。我们可以据此设计出强化学习算法,这些环境(测试问题)有公开的接口,允许我们写出通用的算法。

安装

pip install gym

用例

比如研究探月飞行器着落月球,科学家需要考虑如何才能准确着落到某个位置,并且保证安全降落。这就需要用到gym来做强化学习,学到规律

python中令人惊艳的小众数据科学库的更多相关文章

  1. python中使用tabula爬取pdf数据并导出表格

    Tabula是专门用来提取PDF表格数据的,同时支持PDF导出CSV.Excel格式. 首先安装tabula-py: tabula-py依赖库包括Java.pandas.numpy所以需要保证运行环境 ...

  2. python中pandas数据分析基础3(数据索引、数据分组与分组运算、数据离散化、数据合并)

    //2019.07.19/20 python中pandas数据分析基础(数据重塑与轴向转化.数据分组与分组运算.离散化处理.多数据文件合并操作) 3.1 数据重塑与轴向转换1.层次化索引使得一个轴上拥 ...

  3. Python中令人迷惑的4个引用

    第一个:执行时机的差异 1. array = [1, 8, 15] g = (x for x in array if array.count(x) > 0) array = [2, 8, 22] ...

  4. 9 个鲜为人知的 Python 数据科学库

    除了 pandas.scikit-learn 和 matplotlib,还要学习一些用 Python 进行数据科学的新技巧. Python 是一种令人惊叹的语言.事实上,它是世界上增长最快的编程语言之 ...

  5. Python中Cookie的处理(二)cookielib库

    Python中cookielib库(python3中为http.cookiejar)为存储和管理cookie提供客户端支持. 该模块主要功能是提供可存储cookie的对象.使用此模块捕获cookie并 ...

  6. Python中Cookie的处理(一)Cookie库

    Cookie用于服务器实现会话,用户登录及相关功能时进行状态管理.要在用户浏览器上安装cookie,HTTP服务器向HTTP响应添加类似以下内容的HTTP报头: Set-Cookie:session= ...

  7. 完爆Excel!一个令人惊艳的数据展示工具,让你做图更轻松高效

    数据展示应该是最常见的需求,我们经常利用数据做总结.用数据做分享.但是我们该如何更好地展示给我们需要展示的人,如何才能让我们的数据表达更加动人,这个值得让人思索. 说到数据表达,常用的数据展示方式无非 ...

  8. 那些令人惊艳的TensorFlow扩展包和社区贡献模型

    随着TensorFlow发布的,还有一个models库(仓库地址:https://github.com/tensorflow/models),里面包含官方及社群所发布的一些基于TensorFlow实现 ...

  9. 【Python开发】使用python中的matplotlib进行绘图分析数据

    matplotlib 是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图.而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中. 它的文档相当完备, ...

随机推荐

  1. Spring Boot 框架的依赖管理

    Spring Boot为完成不同需求的Spring应用构建,提供了多种不同的依赖管理模板,每种模板均为一系列已完成的依赖的管理.例如在我们的入门程序中,需要构建web项目,我们只需添加spring-b ...

  2. complex类的设计实现

    #include <iostream> #include <cmath> using namespace std; class Complex{ ,); Complex(Com ...

  3. python之 类对象 类方法 实例对象 实例方法 静态方法

    实例对象1. 创建的时间:使用 类名()的时候,就创建一个实例对象2. 实例属性:怎样添加 只要是一个变量能够指向这个实例对象,那么这个变量.xxxx = 111就是给其添加一个实例属性 特点: 跟着 ...

  4. nodejs-- vuex中mapActions

    mapActions() 返回的是一个对象, 用了 ... 扩展符后,才可以放进一个对象里,和其他组件内定义的 method 在同一个 methods 对象. { methods: mapAction ...

  5. 普通路由器刷开源固件DD-WRT的简单过程

    DD-WRT是基于Linux的无线路由软件,功能强大,它提供了许多一般路由器的软体所没有的功能,将路由器固件升级到DD-WRT可以提升内建于预设固件的限制,并将其转换成强大且具有进阶功能的商业级路由器 ...

  6. springboot 静态资源配置

    package com.linmingliang.myblog.interceptor; import org.springframework.stereotype.Component;import ...

  7. day059-60 ajax初识 登录认证练习 form装饰器, form和ajax上传文件 contentType

    一.ajax 的特点 1.异步交互:客户端发出一个请求后,需要等待服务器响应结束后, 才能发出第二个请求 2.局部刷新:给用户的感受是在不知不觉中完成请求和响应过程. 二.ajax 模板示例 ($.a ...

  8. 18.9 有关设置栈指针sp寄存器r13

    为什么在调用C程序时,要在汇编(.S)文件中设置栈指针sp(Stack Pointer) r13?设置栈指针的时候赋的值是多少,如何确定? .text .global _start _start: / ...

  9. MS+Oracle各种兼容性的坑

    自17年开始新产品开始全面支持Oracle 12c,但陆续发现各种环境问题兼容性的坑,在此汇总一下: 使用11.2.0.1的客户端版本,在连接12c时,发现system账号登陆报用户名密码错误,普通的 ...

  10. laravel+Redis简单实现队列通过压力测试的高并发处理

    秒杀活动 在一般的网络商城中我们会经常接触到一些高并发的业务状况,例如我们常见的秒杀抢购等活动, 在这些业务中我们经常需要处理一些关于请求信息过滤以及商品库存的问题. 在请求中比较常见的状况是同一用户 ...