line_profiler:(代码性能分析)

  使用方法:链接

codecs:(Python内置的编码库)

  

数据分析与挖掘领域: 引自博客:这里

    因为他有很多这个领域相关的库可以用,而且很好用,比如Numpy、SciPy、Matploglib、Pandas、ScikitLearn、Keras、Gensim等,下面简单介绍下:
    1)Numpy,它给Python提供了真正的数组功能,包括多维数组,以及对数据进行快速处理的函数,Numpy还是更多高级扩展库的依赖库,比如后续的Scipy、Matplotlib、Pandas等,都一样;
    2)Scipy,他让Python成了半个MATLAB,Scipy提供了真正的矩阵类型,及其大量基于矩阵运算的对象和函数,他包括的功能包括最优化、线性代数、积分、插值、你和、特殊函数、快速傅里叶变换、信号处理与图像处理、常微分求解方程和其他科学与工程中常用的计算;Scipy依赖于Numpy;
    3)Matplotlib,对于Python来说,Matplotlib是最著名的绘图库,主要是二维绘图,当然,也可以支持一些简答的三围绘图;
    4)Pandas,他是Python下最强大的数据分析和探索工具,没有之一。他包含的高级的数据结构和精巧的工具,使得在Python中处理数据非常快速和简单,Pandas构建在NumPy之上,他使得以Numpy为中心的应用很容易使用,Pandas的名称来自于面板数据(Panel Data)和Python数据分析(Data Analysis),他最初被作为金融数据分析工具而开发出来,由AQR Capital Management公司于2008年4月开发出来,并与2009年底开源;
    他的功能非常强大,支持类似于SQL的数据增删改查,并且带有丰富的数据处理函数,支持时间序列分析,支持灵活处理确实数据等。Pandas其实很复杂, 够单独写一本书,如果对他有兴趣可以看看Pandas主要作者之一 WesMcKinney写的《利用Python进行数据分析》一书。
    5)StatModels,Pandas着眼于数据的读取、处理和探索,而StatsModels则更加注重数据的统计建模和分析,他使得Python有了R语言的味道。StatModels支持与Pandas的数据交互,因此,他与Pandas结合,成为了Python下强大的数据挖掘组合;
    6)Scikit-Learn,这是一个和机器学习有关的库,他是Python下强大的及其学习工具包,他提供了完善的及其学习工具箱,包括:数据预处理、分类、回归、聚类、预测和模型分析等。他依赖于NumPy、SciPy、Matplotlib等;
    7)Keras,他是用来搭建神经网络的,他并非简单的神经网络库,而是一个基于Theano的强大的深度学习库,利用它不仅仅可以搭建普通的神经网络,还可以搭建各种深度学习模型,如自编码器、循环神经网络、递归神经网络、卷积神经网络等。由于它是基于Theano的,速度相当快。
    8)Theano,他也是一个Python库,他是由深度学习专家YoshuaBengio带领的实验室开发出来的,用来定义、优化和高效地解决多维数组对应数学表达式的模拟估计问题。他具有高效地实现符号分解、高度优化的速度、和稳定性等特点,最重要的是还实现了GPU加速,是的密集型数据的处理速度是CPU的十倍;
    9)Gensim,topic modelling of humans,他主要用来处理语言方面的任务,如文本相似度计算、LDA、Word2Vec等,这些领域的任务往往需要比较多的背景知识,通常的情况是:研究这方面的读者已经不需要我再多说什么,而不研究这方面的读者,在这里也说不清楚。

Python 一些 实用的包(持续更新)的更多相关文章

  1. 好用的函数,assert,random.sample,seaborn tsplot, tensorflow.python.platform flags 等,持续更新

    python 中好用的函数,random.sample等,持续更新 random.sample random.sample的函数原型为:random.sample(sequence, k),从指定序列 ...

  2. 安装mysql数据库中的技巧、错误排查以及实用命令(持续更新)

    针对解压版本5.7.16(博主使用的这个版本.在某些低版本中部分命令失效) 一.初始化data目录(解压版解压后没有data目录) mysqld --initialize-insecure --use ...

  3. Python基础学习笔记4-28(持续更新)

    Python学习笔记 第一章 计算机基础 1.1 硬件 计算机基本的硬件由:CPU / 内存 / 主板 / 硬盘 / 网卡 / 显卡 等组成,只有硬件但硬件之间无法进行交流和通信.需要操作系统进行协调 ...

  4. 【纵谭 Python】系列直播(持续更新)

    老周最近录了一些跟 Python 有关的直播,可以在“一直播”中搜索 ID 号 139251129 关注,也可以在微博中查看,反正都一样,同步的. 第一集:简单胡扯一下相关环境搭建.安装 Python ...

  5. Python Redis常用操作(持续更新)

    目录 1.Redis简介 2.Redis部署 3.Redis API应用 4.String操作 1.Redis简介 redis是业界主流的key-value,nosql数据库之一.和Memcached ...

  6. python的一些学习资料(持续更新中)

    Markdown在线编辑器 廖雪峰官方博客[基础入门好资料] python-guide[传说中的巨牛写的] the5fire的技术博客[全职python程序员博客]

  7. Python基础之爬虫(持续更新中)

    python通过urllib.request.urlopen("https://www.baidu.com")访问网页 实战,去网站上下载一只猫的图片 import urllib. ...

  8. Python 列表和元组 (2) 持续更新

    数据结构就是数据的集合.Python最基本的数据结构就是序列,每个元素都会被分配一个元素的位置,也可以称为索引.注意索引都是从0开始的. Python包含6种内建的序列,分别是列表.元组.字符串.Un ...

  9. python相关小技巧整理[持续更新]

    1. pdb的非常方便的debug,抛弃print吧~ 参考https://www.ibm.com/developerworks/cn/linux/l-cn-pythondebugger/ impor ...

随机推荐

  1. Redis Scan迭代器遍历操作原理(一)

    Redis在2.8.0版本新增了众望所归的scan操作,从此再也不用担心敲入了keys*, 然后举起双手看着键盘等待漫长的系统卡死了··· 命令的官方介绍在这里, 中文版由huangz同学细心翻译了, ...

  2. [HEOI2014]逻辑翻译

    ywy_c_asm的良心题解 是道好题 体现了二进制位的形象递归思想,以及将FWT的思路(都是拆位分治)用到题目中的典范 可以暴力高斯消元.完全没有利用2^N以及+-1的良好性质 发现项数,方程和二进 ...

  3. (转)C#中“EQUALS”与“==”的速度比较

    结论: true判断时,用"value" == string是最快的:false判断时,用"value".Equals(string)是最快的. 也就是说:一个 ...

  4. activiti学习-用户与用户组

    activiti学习笔记3-用户与用户组 2015年05月07日 14:43:06 cq1982 阅读数:4142更多 个人分类: activiti工作流引擎   (本博客都是纯文本手工代码,错误难免 ...

  5. Linux系统之路——用CentOS 7打造合适的科研环境

    安装CentOS CentOS 7的安装与其他Linux发行版的安装差不多,个别地方稍有不同. 准备工作 准备材料 U盘:容量700M以上,用于制作U盘启动盘,因为在制作启动盘时会格式化U盘,所以U盘 ...

  6. [linux]linux调度策略对io的影响

    题记:原本要写nfs的I/O小测试的,但考虑到只是的完整性和系统性,转一篇调度策略相关文章. 1.linux中的调度策略 参考:http://scoke.blog.51cto.com/769125/4 ...

  7. Qt ------ Thread Affinity (QObject::moveToThread: Cannot move objects with a parent)

    简单的说,每个QObject的对象,都和某个创建对象所在的线程关联,如果把对象通过 moveToThread 移动到其他线程,这个对象不能有父对象,否则会出现 QObject::moveToThrea ...

  8. Linux安全之SYN攻击原理及处理

    TCP自从1974年被发明出来之后,历经30多年发展,目前成为最重要的互联网基础协议,但TCP协议中也存在一些缺陷. SYN攻击就是利用TCP协议的缺陷,来导致系统服务停止正常的响应. SYN攻击原理 ...

  9. (转)linux下vi命令修改文件及保存的使用方法

    进入vi的命令         vi filename :打开或新建文件,并将光标置于第一行首    vi n filename :打开文件,并将光标置于第n行首    vi filename :打开 ...

  10. python---Scrapy模块的使用(一)

    Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中. Scrapy 使用了 Twisted异步网络库来处理网络通讯.整体 ...