Prthon多线程和模块

案例1：简化除法判断
案例2：分析apache访问日志
案例3：扫描存活主机
案例4：利用多线程实现ssh并发访问

1 案例1：简化除法判断

1.1 问题

编写mydiv.py脚本，主要要求如下：

提示用户输入一个数字作为除数
如果用户按下Ctrl+C或Ctrl+D则退出程序
如果用户输入非数字字符，提示用户应该输入数字
如果用户输入0，提示用户0不能作为除数

1.2 方案

使用if语句判断除数是否合适，需要编写多条语句。有了异常处理，可以本着先做，错了再说的逻辑。直接把除法操作放在try语句中执行，根据产生的异常做相应的处理。

另外，Ctrl+C或Ctrl+D只能通过异常捕获。

异常捕获的语法如下：

try:
A
except:
B
else:
C
finally:
D

把可能发生异常的语句放在A里面执行，如果出现异常则执行B语句，没有异常则执行C语句。不管是否出现异常都会执行D语句。

捕获异常时，可以使用多个except语句，每个except语句捕获一个异常，每个异常给定不同的处理方法。也可以把多个异常放在同一个except语句后面，但是务必注意，多个异常写在相同的一行，一定要注括号括起来，放在元组中。

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：编写脚本

#!/usr/bin/env python
import sys
while True:
try:
result = 100 / int(raw_input('enter a number: '))
except (ValueError, ZeroDivisionError), e: #将异常原因保存在变量e中
print "invalid input:", e
continue
except (EOFError, KeyboardInterrupt):
sys.exit(1)
break
print result

步骤二：测试脚本执行

[root@py01 bin]# ./mydiv.py
enter a number: 0
invalid input: integer division or modulo by zero
enter a number: abc
invalid input: invalid literal for int() with base 10: 'abc'
enter a number: 3
33

案例2：分析apache访问日志

2.1 问题

编写用于分析apache日志的脚本，主要要求如下：

统计每个客户端访问apache服务器的次数
将统计信息通过字典的方式显示出来
分别统计客户端是Firefox和MSIE的访问次数
分别使用函数式编程和面向对象编程的方式实现

2.2 方案

涉及到文本处理时，正则表达式将是一个非常强大的工具。匹配客户端的IP地址，可以使用正则表达式的元字符，匹配字符串可以直接使用字符的表面含义。

入门级程序员的写法，使用顺序的结构，直接编写。这种方法虽然可以得出结果，但是代码难以重用。参考步骤一。

进阶的写法可以采用函数式编程，方便日后再次使用。参考步骤二。

最后，还可以使用OOP的编程方法，先定义一个统计类，该类将正则表达式作为它的数据属性。再定义一个方法，从指定的文件中搜索正则表达式出现的次数，并将其存入到一个字典中。参考步骤三。

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：简单实现

[root@py01 bin]# vim countweb.py
#!/usr/bin/env python
import re
logfile = '/var/log/httpd/access_log'
cDict = {}
patt_ip = '^\d+\.\d+\.\d+\.\d+' #定义匹配IP地址的正则表达式
with open(logfile) as f:
for eachLine in f:
m = re.search(patt_ip, eachLine)
if m is not None:
ipaddr = m.group()
#如果IP地址已在字典中，将其值加1，否则初始值设置为1
cDict[ipaddr] = cDict.get(ipaddr, 0) + 1
print cDict

步骤二：使用函数式编程实现

[root@py01 bin]# vim countweb2.py
!/usr/bin/env python
import re
def countPatt(patt, fname): #定义可以在指定文件中搜索指定字符串的函数
cDict = {}
with open(fname) as f:
for eachLine in f:
m = re.search(patt, eachLine)
if m is not None:
k = m.group()
cDict[k] = cDict.get(k, 0) + 1
return cDict
def test():
logfile = '/var/log/httpd/access_log'
patt_ip = '^\d+\.\d+\.\d+\.\d+'
print countPatt(patt_ip, logfile)
patt_br = 'Firefox|MSIE'
print countPatt(patt_br, logfile)
if __name__ == '__main__':
test()

案例3：扫描存活主机

3.1 问题

编写扫描存活主机的脚本，主要要求如下：

调用系统的ping命令进行扫描
扫描教室环境下所有存活的主机
采用多线程的方式编写
方案

os模块的system()函数可以调用系统命令，其返回值是系统命令退出码，也就是如果系统命令成功执行，返回0，如果没有成功执行，返回非零值。

本例扫描主机，可以调用系统的ping命令，通过退出码来判断是否ping通了该主机。如果顺序执行，每个ping操作需要消耗数秒钟，全部的254个地址需要10分钟以上。而采用多线程，可以实现对这254个地址同时执行ping操作，并发的结果就是将执行时间缩短到了10秒钟左右。

3.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：编写脚本

[root@py01 bin]# vim mtping.py
#!/usr/bin/env python
import subprocess
import threading
import sys
def ping(ip):
result = subprocess.call("ping -c2 %s &> /dev/null" % ip, shell=True)
if result:
print "%s:down" % ip
else:
print "%s:up" % ip
if __name__ == '__main__':
if len(sys.argv) != 2:
print "Usage: %s subnet" % sys.argv[0]
sys.exit(1)
net_list = sys.argv[1].split('.')
net = '.'.join(net_list[:-1])
ips = ("%s.%s" % (net, i) for i in range(1, 255))
for ip in ips:
t = threading.Thread(target=ping, args=(ip,))
t.start()

步骤二：测试脚本执行

[root@py01 bin]# python mtping.py 172.40.51.0

脚本接受命令行参数，只要给定网段就可以实现对该网段中所有ip地址的ping操作。

案例4：利用多线程实现ssh并发访问

4.1 问题

编写ssh客户端脚本，主要要求如下：

在文件中取出所有远程主机IP地址
在shell命令行中接受远程服务器IP地址文件、远程服务器密码以及在远程主机上执行的命令
通过多线程实现在所有的远程服务器上并发执行命令
方案

python的paramiko模块可以实现ssh客户端的功能，使用起来也比较简单。但是当服务器非常多的时候，每台服务器上执行完全相同的简单操作，也会花费大量的时间。

通过ssh加上多线程，可以实现并发访问。为了将程序写的灵活性更强，把要执行的命令以位置参数的方式来提供。

4.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：编写脚本

[root@py01 bin]# vim remote_comm.py
#!/usr/bin/env python
import paramiko
import os
import sys
import threading
def remote_comm(host, password, comm):
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(host, username='root', password=password)
stdin, stdout, stderr = ssh.exec_command(comm)
out = stdout.read()
err = stderr.read()
if out:
print "[%s:out]: %s" % (host, out),
if err:
print "%s:Error: %s", (host, err),
ssh.close()
if __name__ == '__main__':
if len(sys.argv) != 4:
print "Usage: %s ipfile password 'comm'" % sys.argv[0]
sys.exit(1)
ipfile = sys.argv[1]
if not os.path.isfile(ipfile):
print "No such file: %s" % ipfile
sys.exit(2)
password = sys.argv[2]
comm = sys.argv[3]
with open(ipfile) as fobj:
for line in fobj:
ip = line.strip()
t = threading.Thread(target=remote_comm, args=(ip, password, comm))
t.start()

步骤二：测试脚本执行

[root@py01 bin]# python remote_comm.py ipaddr.txt tedu.cn 'useradd bob'

脚本接受命令行参数，其中ipaddr.txt是存放所有远程主机ip地址的文件，文件中每个ip地址占一行。tedu.cn是远程主机的密码（所有远程主机密码需要是一致的）。最后的命令需要写在引号中。

该示例执行成功后，会在所有远程主机上创建一个名为bob的用户。