Python系列之入门篇--HDFS 简介 HDFS (Hadoop Distributed File System) Hadoop分布式文件系统,具有高容错性,适合部署在廉价的机器上.Python 提供了两种接口方式,分别是hdfscli(Restful Api Call),pyhdfs(RPC Call),这一节主要讲hdfscli的使用 代码示例 安装 pip install hdfs 引入相关模块 from hdfs import * 创建客户端 """ It has…

Python系列之入门篇--MYSQL 简介 python提供了两种mysql api, 一是MySQL-python(不支持python3),二是PyMYSQL(支持python2和python3) 代码示例 安装 pip install MySQL-python 引入相关模块 import MySQLdb 创建客户端 conn = MySQLdb.connect(host, user, passwd, database, charset='utf8') cur = conn.cursor()…

1.  预备知识 学习者需要预先掌握Python的数字类型.字符串类型.分支.循环.函数.列表类型.字典类型.文件和第三方库使用等概念和编程方法. 2. Python爬虫基本流程 a. 发送请求 使用http库向目标站点发起请求,即发送一个Request,Request包含:请求头.请求体等. Request模块缺陷:不能执行JS 和CSS 代码. b. 获取响应内容 如果requests的内容存在于目标服务器上,那么服务器会返回请求内容. Response包含:html.Json字符串.图片,…

什么是socket 网络上的两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket.socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,可以用来实现不同虚拟机或不同计算机之间的通信.在Internet上的主机一般运行了多个服务软件,同时提供几种服务.每种服务都打开一个Socket,并绑定到一个端口上,不同的端口对应于不同的服务. Socket的英文原义是“孔”或“插座”.Socket正如其英文原意那样,像一个多孔插座.一台主机犹如布满…

Python2.7.13 安装 说明 以下所有操作都基于centos6.9 1. Issue zlib zlib-devel是安装setuptools依赖的模块,需要在安装python之前先安装这两个模块 2. Install Base #基础依赖 yum -y install gcc gcc-c++ zlib zlib-devel openssl-devel #删除当前mysql版本 yum remove MySQL-server-5.6.21-1.el6.x86_64 MySQL-clien…

一. Python介绍 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,Guido开始写能够解释Python语言语法的解释器.Python这个名字,来自Guido所挚爱的电视剧Monty Python’s Flying Circus.他希望这个新的叫做Python的语言,能符合他的理想:创造一种C和shell之间,功能全面,易学易用,可拓展的语言. 最新的TIOBE排行榜,Python赶超PHP占据第4, Python崇尚优美.清晰.简单,是一个…

pytables及其客户端查看 pytables # ubuntu sudo apt-get install python-tables pip install flask flask-httpauth # centos pip install tables hdf5 Download: https://www.hdfgroup.org/downloads/hdf5/source-code/ ./configure make make check make install 客户端 1. 命令行工…

socket 网络模块 注意事项:在python3中,所有数据的传输必须用bytes类型(bytes只支持ascii码)所以在发送数据的时候要么在发送的字符串前面加 'b',要么使用encode('utf-8')进行转换成bytes类型发送,但是在接收端必须用decode()进行转码. 1.Socket 类型 套接字格式: socket(family,type[,protocal]) 使用给定的地址族(网络层).套接字类型(传输层).协议编号(默认为0)来创建套接字. socket类型 描述 s…

Pandas系列之入门篇--HDF5 简介 HDF5(层次性数据格式)作用于大数据存储,其高效的压缩方式节约了不少硬盘空间,同时也给查询效率带来了一定的影响, 压缩效率越高,查询效率越低.pandas 0.20.1之后的版本默认选用blosc压缩,跟bzip2相比,其间做了一个小测试,10000 条数据,bzip2的压缩率是blosc的30倍,而查询效率blosc却是bzip2的8倍.至于项目中选用哪种压缩方式,需要看具体需求. 回顾上一节<Pandas系列之入门篇> 上一节提到用hdf5作为…

智普教育Python视频教程之入门基础篇,python笔记 print id()内存地址 type()变量类型 windows命令行下edit命令 python数据类型不需要指定类型 定义hostname="www.google.com" 结果运行后总是告诉我NameError: name 'socket' is not defined 哪位帮我分析一下,怎么改才对 没用过socket,不过你试着在第一行加入 import socket C:\>notepad somefile.…

Python入门篇-StringIO和BytesIO 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.StringIO(用于文本处理) 1>.使用案例 #!/usr/bin/env python #_*_coding:utf-8_*_ #@author :yinzhengjie #blog:http://www.cnblogs.com/yinzhengjie/tag/python%E8%87%AA%E5%8A%A8%E5%8C%96%E8%BF%90%E7%BB%B4%E4…

一.subprocess 模块 1.了解os.system()与os.popen的区别及不足 1.1 os.system()可以执行系统指令,将结果直接输出到屏幕,同时可以将指令是否执行成功的状态赋值给变量保存,0表示执行成功 res=os.system('dir') #保存命令执行是否成功的状态 >>> import os >>> x=os.system('df') ---------------------------------------- 文件系统 1K-块…

盘一盘 Python 系列 1 & 2 - 入门篇 https://mp.weixin.qq.com/s?__biz=MzIzMjY0MjE1MA==&mid=2247486473&idx=1&sn=e9228958bb5c425b8981261f14bd2f8c&chksm=e8908f00dfe70616fb3b87db7fcd054738322acbbacb1a08dbd81d36ab2c41cc56b7cc146394&scene=21#wechat…

Python入门篇-面向对象概述 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.语言的分类 面向机器 抽象成机器指令,机器容易理解 代表:汇编语言 面向过程 做一件事情,排出个步骤,第一步干什么,第二步干什么,如果出现情况A,做什么处理,如果出现了情况B,做什么处理. 问题规模小,可以步骤化,按部就班处理. 代表:C语言 面向对象OOP 随着计算机需要解决的问题的规模扩大,情况越来越复杂.需要很多人.很多部门协作,面向过程编程不太适合了. 代表:C++.Java.Pyth…

Python入门篇-文件操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.文件IO常用操作 open:打开 read:读取 write:写入 close:关闭 readline:行读取 readlines:多行读取 seek:文件指针操作 tell:指针位置 二.基本操作 1>.打开操作 #!/usr/bin/env python #_*_coding:utf-8_*_ #@author :yinzhengjie #blog:http://www.cnblogs.com…

Python入门篇-functools 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.reduce方法 reduce方法,顾名思义就是减少 reduce(function,sequence[,initial])->value 可迭代对象不能位空:初始值没提供就在可迭代对象中取一个元素 #!/usr/bin/env python #_*_conding:utf-8_*_ #@author :yinzhengjie #blog:http://www.cnblogs.com/y…

Python入门篇-类型注解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.函数定义的弊端 1>.动态语言很灵活,但是这种特性也是弊端 Python是动态语言,变量随时可以被赋值,且能赋值为不同的类型 Python不是静态编译型语言,变量类型是在运行器决定的 动态语言很灵活,但是这种特性也是弊端 def add(x, y): return x + y print(add(4, 5)) print(add('hello', 'world')) add(4, 'hello')…

Python入门篇-数据结构堆排序Heap Sort 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.堆Heap 堆是一个完全二叉树 每个非叶子结点都要大于或者等于其左右孩子结点的值称为大顶堆 每个非叶子结点都要小于或者等于其左右孩子结点的值称为小顶堆 根结点一定是大顶堆中的最大值,一定是小顶堆中的最小值 二.大顶堆 完全二叉树的每个非叶子结点都要大于或者等于其左右孩子结点的值称为大顶堆 根结点一定是大顶堆中的最大值 三.小顶堆 完全二叉树的每个非叶子结点都要小于或者等于其…

Python入门篇-数据结构树(tree)的遍历 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.遍历 迭代所有元素一遍. 二.树的遍历 对树中所有元素不重复地访问一遍,也称作扫描. 三.广度优先遍历 层序遍历: (1)按照树的层次,从第一层开始,自左向右遍历元素 (2)遍历序列如下图所示,(ABCDEFGHI) 四.深度优先遍历 设树的根结点为D,左子树为L,右子树为R,且要求L一定在R之前,则有下面几种遍历方式: 前序遍历,也叫先序遍历.也叫先根遍历,DLR 中序遍历,…

Python入门篇-装饰器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.装饰器概述 装饰器(无参) 它是一个函数 函数作为它的形参 返回值也是一个函数 可以使用@functionname方式,简化调用 装饰器和高阶函数 装饰器是高阶函数,但装饰器是对传入函数的功能的装饰(功能增强) 带参装饰器 它是一个函数 函数作为它的形参 返回值是一个不带参的装饰器函数 使用@functionname(参数列表)方式调用 可以看做在装饰器外层又加了一层函数 二.为什么要用装饰器 1>…

Python入门篇-高阶函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.高级函数  1>.First Class Object 函数在Python中是一等公民 函数也是对象,可调用的对象 函数可以作为普通变量,参数,返回值等等 2>.高阶函数 数学概念:y=g(f(x)) 在数学和计算机科学中,高阶函数应当是至少满足下面一条条件的函数 接收一个或多个函数作为参数 输出一个函数对象 3>.计数器 #!/usr/bin/env python #_*_coding:…

Python入门篇-生成器函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.生成器概述 1>.生成器generator 生成器指的是生成器对象,可以由生成器表达式得到,也可以使用yield关键字得到一个生成器函数,调用这个函数得到一个生成器对象 2>. 生成器函数 函数体中包含yield语句的函数,返回生成器对象 生成器对象,是一个可迭代对象,是一个迭代器 生成器对象,是延迟计算,惰性求值的 包含yield语句的生成器函数生成生成器对象的时候,生成器函数的函数体不会立…

Python入门篇-匿名函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.匿名函数概述 1>.什么是匿名函数 匿名,即没有名字 匿名函数,即没有名字的函数 2>.匿名函数编写格式 Python借助Lambda表达式构建匿名函数 匿名函数格式如下: lambda 参数列表:表达式 3>.匿名函数注意事项 (1)使用lambda关键字来定义匿名函数 (2)参数列表不需要小括号 (3)冒号是用来分割参数列表和表达式的 (4)不需要使用return,表达式的值,就是匿名…

Python入门篇-递归函数(recursion) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.递归概述 (1)函数直接或者间接调用自身就是递归: (2)递归需要有边界,递归前进段,递归返回段: (3)递归一定要有边界条件: (4)当边界条件不满足的时候,递归前进: (5)当边界条件满足的时候,递归返回: 二.递归案例 #!/usr/bin/env python #_*_coding:utf-8_*_ #@author :yinzhengjie #blog:http:/…

Python入门篇-数据结构树(tree)篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.树概述 1>.树的概念 非线性结构,每个元素可以有多个前躯和后继 树是n(n>=0)个元素的集合: n = 0时,称为空树 树只有一个特殊的没有前驱的元素,称为树的根root 树中除了根结点外,其余元素只能有一个前驱,可以有零个或者多个后继 递归定义: 数T是n(n>=0)个元素的集合.n=0时,称为空树 有且只有一个特殊元素根,剩余元素都可以被划分为m个互不相交的集合T1…

Python入门篇-返回值和作用域 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.返回值 1>.返回值概述 Python函数使用return语句返回“返回值” 所有函数都有返回值,如果没有return语句,隐式调用return None return 语句并不一定是函数的语句块的最后一条语句 一个函数可以存在多个return语句,但是只有一条可以被执行.如果没有一条return语句被执行到,隐式调用return None 如果有必要,可以显示调用return None,可…

Python入门篇-函数.参数及参数解构 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.函数概述 1>.函数的作用即分类 函数 数学定义:y=f(x) ,y是x的函数,x是自变量.y=f(x0, x1, ..., xn) Python函数 由若干语句组成的语句块.函数名称.参数列表构成,它是组织代码的最小单元 完成一定的功能 函数的作用 结构化编程对代码的最基本的封装,一般按照功能组织一段代码 封装的目的为了复用,减少冗余代码 代码更加简洁美观.可读易懂 函数的分类 内建…

Python入门篇-内建函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.常见的内建函数案例  1>.标识id 返回对象的唯一标识,CPython返回内存地址. #!/usr/bin/env python #_*_conding:utf-8_*_ #@author :yinzhengjie #blog:http://www.cnblogs.com/yinzhengjie name = "尹正杰" print(id(name)) #以上代码输出结果如下:…

Python入门篇-解析式.生成器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.列表解析式(List Comprehension) 1>.列表解析式语法 语法 [ 返回值 for 元素 in 可迭代对象 if 条件] 使用中括号[],内部是for循环,if条件语句可选 返回一个新的列表 列表解析式是一种语法糖 编译器会优化,不会因为简写而影响效率,反而因优化提高了效率 减少程序员工作量,减少出错 简化了代码,但可读性增强 2>.列表解析式案例 #!/usr/bin/e…

Python入门篇-封装与解构和高级数据类型集合(set)和字典(dict) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.封装和结构 #!/usr/bin/env python #_*_conding:utf-8_*_ #@author :yinzhengjie #blog:http://www.cnblogs.com/yinzhengjie x = 1,3,5,7 #Python中的封装,注意,这里把等号后边的int数据类型封装成元组了 print(x) a,b =…