主要搞明白NumPy“为什么快”. 学习资源 Panda 中文 易百教程 远程登录Jupyter笔记本 效率进化 四步效率优化 NumPy 底层进行了不错的优化. %timeit 对于任意语句,它会自动多次执行以产生一个非常精确的平均执行时间. In [11]: loops = 25000000 from math import * a = range(1, loops) def f(x): return 3 * log(x) + cos(x) ** 2 %timeit r = [f(x) fo…

今天被这俩货因为时间日期处理不兼容的问题折腾半天,气死人,不吐槽不行了! 这俩简称都可以是pd的库,都TM够轴的,互相兼容极差. pandas 和 pendulum 知名度都很高,也很常用.但我就是用不习惯!各种小坑让我特别不爽. pandas的api让我觉得奇葩.根本没有其他py库连蒙带猜就能平顺执行的感觉,反正感觉和py风格不太搭.只是个人感觉.用其他知名库从来没这种感觉. 然后它的很多操作,都是列优先的,df['A'] 取一列,然后做某事.这是数据固定,处理数据时方便. 但如果有时偷懒,把…

Pandas的三种数据结构: 系列(Series) 数据帧(DataFrame) 面板(Panel) 这些数据结构,构建在Numpy数组之上,这意味着它们很快 维数和描述 考虑这些数据结构的最好方法是,较高维数据结构是其较低维数据结构的容器. 例如,DataFrame是Series的容器,Panel是DataFrame的容器. 数据结构 维数 描述 系列 1 1D标记均匀数组,大小不变. 数据帧 2 一般2D标记,大小可变的表结构与潜在的异质类型的列. 面板 3 一般3D标记,大小可变数组. 构…

现象: Numpy区分了str和object类型,其中dtype(‘S’)和dtype(‘O’)分别对应于str和object. 然而,pandas缺乏这种区别 str和object类型都对应dtype(‘O’)类型,即使强制类型为dtype(‘S’)也无济于事 >>> import pandas as pd >>> import numpy as np >>> >>> >>> np.dtype(str) dtype…

Ref: NumPy 教程 这里主要是查缺补漏一些常用方法. 初步认识 矩阵常见知识点 矩阵操作 Ref: [Python] 01 - Number and Matrix[总结过一部分] 一.矩阵 (Matrix)  初始化 Universal Functions 二.矩阵操作 矩阵下标 index 表示范围 下标表示范围内的“间隔” 矩阵遍历 传统遍历 - 规则数组 句柄遍历 - 不规则数组 矩阵取整 取左地板值 仅保留整数位 四舍五入 三.矩阵形变 扁平化 完全扁平 自定义扁平 转置 堆叠…

相关资源 [Python] 09 - Multi-processing [Pandas] 01 - A guy based on NumPy [AI] 深度数学 - Bayes 这章非常有意思,但一定要实践! /* implement */…

前言 对于一门编程语言,没接触到“优化”和“库代码”的源码理解程度,不足以谈“掌握”二字. 本篇的学习笔记,同时也意味着自己终于触及到了Python的junior国际水准.(joke) 要学的东西有很多,尤其是年纪大了后对编程语言要有一个“体系”:[Code] 大蛇之数据工程,方便自己复习. 编程语言的理解没大问题后,就是稳固“实践能力”,将编程模块化:[Code] 变态之人键合一,编程变为“堆积木”的效果. 工程能力的最终目的还是迎合市场,解决现实中的问题:[AI] 深度数据 - Data,产…

作为“所谓码农”的首篇,本章内容理应涵盖基本编程技法. Python这个东西.简洁,作为载体,是个不错的选择呦. 链接资源: Python文档:https://docs.python.org/3/ 教学要求: 面试级别 基础变量 数字计算 Ref: [Python] 01 - Number and Matrix 一些常见的不熟悉的地方,详见链接. 一.表达 不同进制:0b123 0o123 0x123,对应的 ”char查看函数":ord('a'),chr(115) --> hex(id(…

Data Engineering Data  Pipeline Outline [DE] How to learn Big Data[了解大数据] [DE] Pipeline for Data Engineering[工作流案例示范] [DE] ML on Big data: MLlib[大数据的机器学习方案] DE基础(厦大) [Spark] 00 - Install Hadoop & Spark[ing] [Spark] 01 - What is Spark[大数据生态库] [Spark]…

前言 资源 Ref: Python3 多线程 Ref: Python3之多进程       # python中的多线程无法利用多核优势 更多的提高效率的策略,请参见:[Pandas] 01 - A guy based on NumPy 多线程 一.认识线程 与进程的区别 线程在执行过程中与进程还是有区别的. 1. 每个独立的线程有一个程序运行的入口.顺序执行序列和程序的出口. 2. 但是线程不能够独立执行,必须依存在应用程序中,由应用程序提供多个线程执行控制. 3. 每个线程都有他自己的一组CP…