Python_08-常用模块

1     常用模块介绍

1.1      os模块

1.2      sys模块

1.3      built-in内置模块

1.4      time模块

1.5      re模块

2     常用模块分类

2.1      python运行时服务

2.2      数学

2.3      数据结构，算法和代码简化

2.4      string 和 text 处理

2.5      python数据库访问

2.6      文件和目录处理

2.7      操作系统的服务

2.8      线程和并行

2.9      网络编程和套接字（sockets）

2.10    internet应用程序编程

2.11     web 编程

2.12    internet 数据处理和编码

 

1       常用模块介绍

1.1   os模块

Python的标准库中的os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。即它允许一个程序在编写后不需要任何改动，也不会发生任何问题，就可以在Linux和Windows下运行。

 

下面列出了一些在os模块中比较有用的部分。它们中的大多数都简单明了。

 

os.sep 可以取代操作系统特定的路径分隔符。windows下为“\\”

os.name 字符串指示你正在使用的平台。比如对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'。

os.getcwd() 函数得到当前工作目录，即当前Python脚本工作的目录路径。

os.getenv() 获取一个环境变量，如果没有返回none

os.putenv(key, value)设置一个环境变量值

os.listdir(path)返回指定目录下的所有文件和目录名。

os.remove(path)函数用来删除一个文件。

os.system(command)函数用来运行shell命令。

os.linesep:字符串给出当前平台使用的行终止符。例如，Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'。

os.path.split(p)函数返回一个路径的目录名和文件名。

os.path.isfile()和os.path.isdir()函数分别检验给出的路径是一个文件还是目录。

os.path.existe()函数用来检验给出的路径是否真地存在

os.curdir:返回当前目录（'.')

os.chdir(dirname):改变工作目录到dirname

os.path.getsize(name):获得文件大小，如果name是目录返回0L

os.path.abspath(name):获得绝对路径

os.path.normpath(path):规范path字符串形式

os.path.splitext():分离文件名与扩展名

os.path.join(path,name):连接目录与文件名或目录

os.path.basename(path):返回文件名

os.path.dirname(path):返回文件路径

 

 

使用环境64位的fedora 18，python版本是python 2.7.3

1、os.getcwd()函数

    功能：获取当前目录，python 的工作目

 

import os                                     

pwd = os.getcwd()                                         

print (pwd)

2、os.name 函数

功能：获取当前使用的操作系统（获取信息不够详细）

              其中
'nt' 是 windows，'posix' 是 linux 或者 unix

 

import
os

name
= os.name

if
name == 'posix':

    print ("this is Linux or Unix")

elif
name == 'nt':

     print ("this is windows")                                

else:                           

　　 print ("this is other
system")　

3、os.remove()函数

 功能：删除指定文件

 eg：删除 file.txt 文件

import
os

os.remove(’file.txt‘)

4、os.removedirs()函数

    功能：删除指定目录

    eg：删除 file目录

 

import
os

os.removedirs(‘file’)

 

5、os.system()函数

    功能：运行shell命令

    eg：执行ls -a > 1.txt命令

 

import
os

os.system(‘ls
-a > 1.txt’)

 

6、os.mkdir()函数

    功能：创建一个新目录

    eg：创建一个 file 目录

 

import
os

os.mkdir(‘file’)

 

7、os.chdir()函数

    功能：改变当前路径到指定路径

    eg：我现在从当前路径到 filepath 所指定的路径下

 

import
os

filepath
= '/home'

pwd
= os.getcwd()

print
(pwd)

os.chdir(filepath)

pwd
= os.getcwd()

print
(pwd)

 

8、os.listdir()函数

    功能：返回指定目录下的所有目录和文件

    eg：列出当前目录下的所有文件和目录

 

import
os

pwd
= os.getcwd()

name
= os.listdir(pwd)

for
filename in name:

    print (filename)

 

  os模块包装了不同操作系统的通用接口，使用户在不同操作系统下，可以使用相同的函数接口，返回相同结构的结果。

  os.name:返回当前操作系统名称（'posix',
'nt', 'os2', 'mac', 'ce' or 'riscos'）

  os中定义了一组文件、路径在不同操作系统中的表现形式参数，如

    os.sep（文件夹分隔符，windows中是
\ ）

    os.extsep（扩展名分隔符，windows中是
. ）

    os.pathsep（目录分隔符，windows中是
; ）

    os.linesep（换行分隔符，windows中是
\r\n ）

  os中有大量文件、路径操作的相关函数，如：

   
listdir(path):列举目录下的所有文件

   
makedir(path):创建文件夹，注：创建已存在的文件夹将异常

   
makedirs(path):递归式的创建文件夹，注：创建已存在的文件夹将异常

   
remove(filename):删除一个文件

    rmdir(path):删除一个文件夹，注：删除非空的文件夹将异常

   
removedirs(path):递归的删除文件夹，直到有一级的文件夹非空，注：文件夹路径不能以'\'结束

   
rename(src,dst):给文件或文件夹改名（可以改路径，但是不能覆盖目标文件）

   
renames(src,dst):递归式的给文件或文件名改名

    walk(path):列举path下的所有文件、文件夹

  os中与进程相关的操作，如：

    execl(path):运行一个程序来替代当前进程，会阻塞式运行

    _exit(n):退出程序

   
startfile(filename):用与文件关联的程序运行，关联程序打开后，立即返回

    system(cmd):运行一个程序或命令，会立即返回，并在cmd执行完成后，会返回cmd退出代码

  os.path:在不同的操作系统中调用不同的模块，是一个可import的模块，这个模块中提供很多有用的操作：

   
abspath(path):返回path的绝对路径，若path已经是绝对路径了，则保持。

   
basename(path):返回path中的文件名。

   
commonprefix(list):返回list中的统一前缀，用于获得一组字符串的左起相同的内容

   
dirname(path):返回path中的文件夹部分，结果不包含'\'

   
exists(path):文件或文件夹是否存在

   
getatime(path):文件或文件夹的最后访问时间，从新纪元到访问时的秒数

   
getmtime(path):文件或文件夹的最后修改时间

   
getctime(path):文件或文件夹的创建时间

   
getsize(path):文件或文件夹的大小，若是文件夹返回0

    isabs(path):返回是否是绝对路径

   
isfile(path):返回是否是文件路径

    isdir(path):返回是否是文件夹路径

   
islink(path):返回是否是快捷方式

   
join(path1,path2,...):将path进行组合，若其中有绝对路径，则之前的path将被删除

    normcase(path):转换路径中的间隔符

   
normpath(path):转换路径为系统可识别的路径

   
realpath(path):转换路径为绝对路径

    split(path):将路径分解为(文件夹,文件名)

   
splitext(path):将路径分解为(其余部分,.扩展名)，若文件名中没有扩展名，扩展名部分为空字符串

  在操作与系统不支持的对象时，抛出OSError异常。

 

1.2  
sys模块

  系统信息和方法模块，提供了很多实用的变量和方法：

    argv:命令行参数List，第一个元素是程序本身路径

   
builtin_module_names:Python解释器导入的模块列表

   
modules.keys():返回所有已经导入的模块列表

    exc_info():获取当前正在处理的异常类

    exc_type、exc_value、exc_traceback:当前处理的异常详细信息

   
executable:Python解释程序路径

    exit(n):退出程序，正常退出时exit(0)

   
getwindowsversion():获取Windows的版本

    hexversion:获取Python解释程序的版本值，16进制格式如：0x020403F0

    version:获取Python解释程序的版本信息

    maxint:最大的Int值

    maxunicode:最大的Unicode值

    modules:返回系统导入的模块字段，key是模块名，value是模块

    path:返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值

    platform:返回操作系统平台名称

 

1.3  
built-in内置模块

    eval(expr[,globals[,locals]]):执行一段代码，并返回结果

   
exec(expr[,globals[,locals]]):执行一段代码

   
execfile(file[,globals[,locals]]):执行一个文件

   
filter(func,list):使用函数来过滤list，返回满足要求的list元素组

   
getattr(obj,name[,default]):获取对象的属性，若没有该属性，则返回默认值

   
setattr(obj,name,value):设置对象的属性，若没有该属性，则异常

   
hasattr(obj,name):返回对象是否有指定属性

   
input([prompt]):提示控制台输入，必须输入常量或变量，若想直接输入字符串，需要使用引号括起来

   
raw_input([prompt]):提示控制台输入，直接输入数字或字符串

   
open(filename,mode):打开文件，mode可以为：w,r,a，若想同时读写，则加上+，若想以二进制读写，则加上b

   
reload(module):再次导入已导入过的模块

    type(obj):返回一个对象的类型

   
zip(seq1,...):将若干个元组进行合并，长度以元组中的最短的为准

 

1.4  
time模块

  这个模块定义的都是和时间、时钟、计时相关的内容：

    clock():返回第一次调用到当前调用时的计时，是以秒为单位的浮点数

   
localtime([t]):返回时间的数组，有9个元素(年,月,日,时,分,秒,星期几,当年的第几天,是否夏令时)，星期一为0

   
mktime(tlist):是localtime的反函数，将一个9元数组转成一个浮点时间值，后3个元素，系统会自己调整

    sleep(n):挂起线程n秒

   
strftime(fstring[,t]):格式化显示时间，fstring常用关键字：

      %a,%A:星期的缩写，全拼

      %b,%B:月份的缩写，全屏

      %c,%x,%X:本地默认表示法（日期时间，日期，时间）

      %Y(%y:2位),%m,%d,%H,%M,%S:年月日时分秒

      %w:星期，0为星期天

   
strptime(string[,format]):将字符串解析为9元素的时间数组

    time():返回当前时间值，浮点数

  更高级的用法可以使用datetime模块，创建其中的date,time对象，可以进行加减操作，得出timedelta对象。

 

1.5  
re模块

限定符说明：

".": 匹配任何字符

"^": 匹配开头

"$": 匹配结尾

"*": 匹配0次或更多次之前的表达式。贪婪时，匹配尽可能多次

"+": 匹配1次或更多次之前的表达式。等价于{1,}

"?": 匹配0次或1次之前的表达式。等价于{0,1}

"*?,+?,??": 非贪婪匹配

"{m,n}": 贪婪式匹配之前的表达式m到n次

"{m,n}?": 非贪婪匹配之前的表达式m到n次

"\": 将下一个字符转义

[ABC]: 指定一个字符集

[^ABC]: 指定一个不在范围内的字符集

"A|B": 匹配条件A或条件B

(pattern): 匹配括号内的表达式，并作为匹配项

(?:pattern): 匹配括号内的表达式，但不作为匹配项

(?#...): 注释，忽略

(?=pattern): 预查，若之后的内容匹配表达式，则成立

(?!pattern): 预查，若之后的内容不匹配表达式，则成立

(?P<name>pattern): 给一个匹配项命名

(?P=name)：匹配与之前命名的匹配项内容相同的部分

如：s='12a34a56'

  
re.findall('12(?P<xxx>.).*(?P=xxx)56)', s)

  
(?P<xxx>.)匹配到a，则(?P=xxx)的内容也必须为a时才pp

(?iLmsux): 设置I,L,M,S,U,or
X标记

转义符说明:

\A: 匹配开头

\Z: 匹配结尾

\b: 匹配开头或结尾的空字符串，通常是指单词边界？？？

\B: 匹配非开头和结尾的空字符串，通常是指非单词边界？？？

\d: 匹配一个数字。等价于[0-9]

\D: 匹配一个非数字。等价于[^0-9]

\s: 匹配一个空白字符。等价于[
\t\n\r\f\v]

\S: 匹配一个非空白字符。等价于[^
\t\n\r\f\v]

\w: 匹配一个字母数字字符。等价于[a-zA-Z0-9_]

\W: 匹配一个非字母数字字符。等价于[^a-zA-Z0-9_]

\\: 匹配一个反斜杠

\f: 匹配一个换页符。等价于\x0C
和 \cL

\n: 匹配一个换行符。等价于\x0A
和 \cJ

\r: 匹配一个回车符。等价于\x0D
和 \cM

\t: 匹配一个制表符。等价于\x09
和 \cI

\v: 匹配一个垂直制表符。等价于\x0B
和 \cK

\xHH: 匹配 HH，其中
HH 为十六进制转义值

\uHHHH: 匹配
HHHH，其中 HHHH 是一个用四个十六进制数字表示的Unicode字符

常用匹配：

匹配中文字符的正则表达式：
[\u4e00-\u9fa5]

匹配双字节字符(包括汉字在内)：[^\x00-\xff]

匹配空行的正则表达式：\n[\s|
]*\r

匹配首尾空格的正则表达式：(^\s*)|(\s*$)

匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

匹配网址URL的正则表达式：^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*\\?\\S*)?$

匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$

匹配国内电话号码：(\d{3}-|\d{4}-)?(\d{8}|\d{7})?

匹配腾讯QQ号：^[1-9]*[1-9][0-9]*$

模块使用：

    match:

    search:

    sub: 替换

    subn: 替换并返回替换的次数

    split: 分隔

    findall: 查找所有匹配项

    compile:

    purge:

    escape:

可选参数：

   
I(IGNORECASE): 忽略大小写

    L(LOCALE): 使用\w,\W,\b,\B时依据本地配置？？？

    M(MULTILINE):
多行，"^"匹配每行的开头，"$"匹配每行的末尾

    S(DOTALL): 使"."匹配包含换行符在内的任意字符

    X(VERBOSE): 忽略空白处和注释内容

U(UNICODE): 使\w,\W,\b,\B依靠UNICODE编码

 

2      
常用模块分类

 

python除了关键字（keywords）和内置的类型和函数（builtins），更多的功能是通过libraries（即modules）来提供的。

 

常用的libraries（modules）如下：

 

2.1  
python运行时服务

* copy：
copy模块提供了对复合（compound）对象（list，tuple，dict，custom
class）进行浅拷贝和深拷贝的功能。

* pickle：
pickle模块被用来序列化python的对象到bytes流，从而适合存储到文件，网络传输，或数据库存储。（pickle的过程也被称serializing,marshalling或者flattening，pickle同时可以用来将bytes流反序列化为python的对象）。

* sys：sys模块包含了跟python解析器和环境相关的变量和函数。

* 其他：
atexit，gc，inspect，marshal，traceback，types，warnings，weakref。

 

 

2.2  
数学

 

* decimal：python中的float使用双精度的二进制浮点编码来表示的，这种编码导致了小数不能被精确的表示，例如0.1实际上内存中为0.100000000000000001，还有3*0.1
== 0.3 为False. decimal就是为了解决类似的问题的，拥有更高的精确度，能表示更大范围的数字，更精确地四舍五入。

* math：math模块定义了标准的数学方法，例如cos(x),sin(x)等。

* random：random模块提供了各种方法用来产生随机数。

* 其他：fractions，numbers。

 

2.3  
数据结构，算法和代码简化

* array：
array代表数组，类似与list，与list不同的是只能存储相同类型的对象。

* bisect：
bisect是一个有序的list，其中内部使用二分法（bitsection）来实现大部分操作。

* collections：collections模块包含了一些有用的容器的高性能实现，各种容器的抽象基类，和创建name-tuple对象的函数。例如包含了容器deque，defaultdict，namedtuple等。

* heapq：heapq是一个使用heap实现的带有优先级的queue。

* itertools：itertools包含了函数用来创建有效的iterators。所有的函数都返回iterators或者函数包含iterators（例如generators
和generators expression）。

* operator：
operator提供了访问python内置的操作和解析器提供的特殊方法，例如
x+y 为 add（x，y），x+=y为iadd（x，y），a
% b 为mod（a，b）等等。

* 其他：abc，contextlib，functools。

 

2.4  
string 和 text 处理

*codecs：codecs模块被用来处理不同的字符编码与unicode
text io的转化。

* re：re模块用来对字符串进行正则表达式的匹配和替换。

* string：string模块包含大量有用的常量和函数用来处理字符串。也包含了新字符串格式的类。

* struct：struct模块被用来在python和二进制结构间实现转化。

* unicodedata：unicodedata模块提供访问unicode字符数据库

 

2.5  
python数据库访问

* 关系型数据库拥有共同的规范Python
Database API Specification V2.0，MySQL，Oracle等都实现了此规范，然后增加自己的扩展。

* sqlite3: sqlite3 模块提供了SQLite数据库访问的接口。SQLite数据库是以一个文件或内存的形式存在的自包含的关系型数据库。

* DBM-style 数据库模块：python提供了打了的modules来支持UNIX
DBM-style数据库文件。dbm模块用来读取标准的UNIX-dbm数据库文件，gdbm用来读取GNU
dbm数据库文件，dbhash用来读取Berkeley
DB数据库文件。所有的这些模块提供了一个对象实现了基于字符串的持久化的字典，他与字典dict非常相似，但是他的keys和values都必须是字符串。

* shelve：shelve模块使用特殊的“shelf”对象来支持持久化对象。这个对象的行为与dict相似，但是所有的他存储的对象都使用基于hashtable的数据库（dbhash，dbm，gdbm）存储在硬盘。与dbm模块的区别是所存储的对象不仅是字符串，而且可以是任意的与pickle兼容的对象。

 

2.6  
文件和目录处理

* bz2：bz2模块用来处理以bzip2压缩算法压缩的文件。

* filecmp：filecmp模块提供了函数来比较文件和目录。

* fnmatch：fnmatch模块提供了使用UNIX
shell-style的通配符来匹配文件名。这个模块只是用来匹配，使用glob可以获得匹配的文件列表。

* glob：glob模块返回了某个目录下与指定的UNIX
shell通配符匹配的所有文件。

* gzip：gzip模块提供了类GzipFile，用来执行与GNUgzip程序兼容的文件的读写。

* shutil：
shutil模块用来执行更高级别的文件操作，例如拷贝，删除，改名。shutil操作之针对一般的文件，不支持pipes，block
devices等文件类型。

* tarfile：
tarfile模块用来维护tar存档文件。tar没有压缩的功能。

* tempfile：tempfile模块用来产生临时文件和文件名。

* zipfile：
zipfile模块用来处理zip格式的文件。

* zlib，zlib模块提供了对zlib库的压缩功能的访问。

 

2.7  
操作系统的服务

* cmmands：
commands模块被用来执行简单的系统命令，命令以字符串的形式传入，且同时以字符串的形式返回命令的输出。但是此模块只在UNIX系统上可用。

* configParser，configParser模块用来读写windows的ini格式的配置文件。

* datetime，datetime模块提供了各种类型来表示和处理日期和时间。

* errno，定义了所有的errorcode对应的符号名字。

* io，io模块实现了各种IO形式和内置的open()函数。

* logging，
logging模块灵活方便地对应用程序记录events，errors，warnings，和debuging
信息。这些log信息可以被收集，过滤，写到文件或系统log，甚至通过网络发送到远程的机器上。

*mmap，mmap模块提供了内存映射文件对象的支持，使用内存映射文件与使用一般的文件或byte字符串相似。

*msvcrt，mscrt只可以在windows系统使用，用来访问Visual
C运行时库的很多有用的功能。

*optparse，optparse模块更高级别来处理UNIX
style的命令行选项sys.argv。

* os，os模块对通用的操作系统服务提供了可移植的（portable）的接口。os可以认为是nt和posix的抽象。nt提供windows的服务接口，posix提供UNIX（linux，mac）的服务接口。

* os.path，os.path模块以可移植的方式来处理路径相关的操作。

* signal，signal模块用来实现信号（signal）处理，往往跟同步有关。

* subprocess，subprocess模块包含了函数和对象来统一创建新进程，控制新进程的输入输出流，处理进程的返回。

* time，time模块提供了各种时间相关的函数。常用的time.sleep().

* winreg, winreg模块用来操作windows注册表。

* 其他：fcntl。

 

2.8  
线程和并行

* multiprocessing，multiprocessing模块提供通过subprocess来加载多个任务，通信，共享数据，执行各种同步操作。

* threading，threading模块提供了thread类很很多的同步方法来实现多线程编程。

* queue，queue模块实现了各种多生产者，多消费者队列，被用来实现多线程程序的信息安全交换。

* 其他：Coroutines
and Microthreading。

 

2.9  
网络编程和套接字（sockets）

* asynchat，asynchat模块通过封装asyncore来简化了应用程序的网络异步处理。

* ssl，ssl模块被用来使用secure
sockets layer（SSL）包装socket对象，从而使得实现数据加密和终端认证。python使用openssl来实现此模块。

* socketserver，socketserver模块提供了类型简化了TCP，UDP和UNIX领域的socket
server的实现。

* 其他：asyncore，select。

 

2.10    
internet应用程序编程

* ftplib，ftplib模块实现了ftp的client端协议。此模块很少使用，因为urllib提供了更高级的接口。

* http包，包含了http
client和server的实现和cookies管理的模块。

* smtplib，smtplib包含了smtp
client的底层接口，用来使用smtp协议发送邮件。

* urllib，urllib包提供了高级的接口来实现与http
server，ftp server和本地文件交互的client。

* xmlrpc，xmlrpc模块被用类实现XML-RPC
client。

 

2.11    
web 编程

* cgi，cgi模块用来实现cgi脚本，cgi程序一般地被webserver执行，用来处理用户在form中的输入，或生成一些动态的内容。当与cgi脚本有管的request被提交，webserver将cgi作为子进程执行，cgi程序通过sys.stdin或环境变量来获得输入，通过sys.stdout来输出。

* webbrowser，webbrowser模块提供了平台独立的工具函数来使用web
browser打开文档。

* 其他：wsgiref/WSGI
(Python Web Server Gateway Interface).

 

2.12    
internet 数据处理和编码

* base64，base64模块提供了base64，base32，base16编码方式，用来实现二进制与文本间的编码和解码。base64通常用来对编码二进制数据，从而嵌入到邮件或http协议中。

* binascii，binascii模块提供了低级的接口来实现二进制和各种ASCII编码的转化。

* csv，csv模块用来读写comma-separated
values（CSV）文件。

* email，email包提供了大量的函数和对象来使用MIME标准来表示，解析和维护email消息。

* hashlib，hashlib模块实现了各种secure
hash和message digest algorithms，例如MD5和SHA1。

* htmlparser（html.parser），此模块定义了HTMLParser来解析HTML和XHTML文档。使用此类，需要定义自己的类且继承于HTMLParser。

* json，json模块被用类序列化或饭序列化Javascript
object notation（JSON）对象。

* xml,xml包提供了各种处理xml的方法。