Python实战(6)单线程和多线程导入mysql数据对比测试

单线程脚本

导入文件的行数

# wc -l /data/logs/testlog/20120219/testlog1/*
 1510503 total

1. # -*- coding: utf-8 -*-
2. #!/usr/bin/env python
3. #create database pythondata
4. #create table log (logline varchar(500));
5. #grant all on pythondata.* to 'pyuser'@'localhost' identified by "pypasswd";
6. import MySQLdb
7. import os
8. import time
9. def writeLinestoDb(sql,content):
10. conn=MySQLdb.connect(host="localhost",user="pyuser",passwd="pypasswd",db="pythondata")
11. cur =conn.cursor()
12. cur.executemany(sql,content)
13. cur.close()
14. conn.commit()
15. conn.close()
16. def readLinestoList(path):
17. alllines=[]
18. for file in os.listdir(path):
19. files=os.path.join(path,file)
20. for line in open(files):
21. alllines.append(line)
22. return alllines
23. def main():
24. insertsql ="INSERT INTO log(logline) VALUES(%s)"
25. alllines=readLinestoList('/data/logs/testlog/20120219/testlog1')
26. for line in alllines:
27. content=line.strip()
28. print content
29. writeLinestoDb(insertsql,content)
30. time.sleep(10)
31. if __name__=="__main__":
32. print('starting at:',time.ctime())
33. main()
34. print('ending at:',time.ctime())

('starting at:', 'Tue Mar 27 11:09:20 2012')
('ending at:', 'Tue Mar 27 11:13:20 2012')
耗时4分钟
mysql> select count(*) from log ;
+----------+
| count(*) |
+----------+
|  1510551 |
+----------+

多线程脚本

1. # -*- coding: utf-8 -*-
2. #!/usr/bin/env python
3. import MySQLdb
4. import os
5. from time import ctime
6. from threading import Thread
7. from Queue import Queue
8. in_num_thread=10
9. out_num_thread=10
10. in_queue=Queue()
11. out_queue=Queue()
12. def listDir(path):
13. for filename in os.listdir(path):
14. in_queue.put(os.path.join(path,filename))
15. def readFile(iq,in_queue):
16. filelines=[]
17. while True:
18. file=in_queue.get()
19. for line in open(file):
20. filelines.append(line)
21. out_queue.put(filelines)
22. in_queue.task_done()
23. def writeLinestoDb(oq,out_queue):
24. sql=insertsql ="INSERT INTO log(logline) VALUES(%s)"
25. while True:
26. content=out_queue.get()
27. conn=MySQLdb.connect(host="localhost",user="pyuser",passwd="pypasswd",db="pythondata")
28. cur =conn.cursor()
29. cur.executemany(sql,content)
30. cur.close()
31. conn.commit()
32. conn.close()
33. out_queue.task_done()
34. def main():
35. listDir('/data/logs/testlog/20120219/testlog1')
36. for iq in range(in_num_thread):
37. worker=Thread(target=readFile,args(iq,in_queue))
38. worker.setDaemon(True)
39. worker.start()
40. print "Readfile Main Thread Waiting at",ctime()
41. in_queue.join()
42. print "Readfile Done at,",ctime()
43. for oq in range(out_num_thread):
44. worker=Thread(target=writeLinestoDb,args(oq,out_queue))
45. worker.setDaemon(True)
46. worker.start()
47. print "Insert into mysql Main Thread at",ctime()
48. out_queue.join()
49. print "Insert into mysql at,",ctime()
50. if __name__=="__main__":
51. print('starting at:',time.ctime())
52. main()
53. print('ending at:',time.ctime())

1. 数据库位于本机
2. ('starting at:', 'Tue Mar 27 10:57:01 2012')
   Readfile Main Thread Waiting at Tue Mar 27 10:57:01 2012
   Readfile Done at, Tue Mar 27 10:57:04 2012
   Insert into mysql Main Thread at Tue Mar 27 10:57:04 2012
   Insert into mysql at, Tue Mar 27 11:03:34 2012
   ('ending at:', 'Tue Mar 27 11:03:34 2012')
   mysql> select count(*) from log ;
   +----------+
   | count(*) |
   +----------+
   | 3676015 |
   +----------+
3. 两次个数据不一致，多线的导入有问题。

服务器配置4G8核，mysql本地 两个脚本在同一台机器上运行

多线程脚本改进

1. #!/usr/bin/env python
2. #create table log ( logline varchar(300));
3. #grant all on pythondata.* to 'pyuser'@'localhost' identified by "pypasswd"
4. import MySQLdb
5. import os
6. import sys
7. from time import ctime
8. from threading import Thread
9. from Queue import Queue
10. num_thread=10
11. queue=Queue()
12. def listDir(path):
13. file_list=[]
14. for filename in os.listdir(path):
15. file_list.append(os.path.join(path,filename))
16. return file_list
17. def readFile(file):
18. alllines=[]
19. for line in open(file):
20. alllines.append(line)
21. return alllines
22. def writeLinestoDb(q,queue):
23. sql=insertsql ="INSERT INTO log(logline) VALUES(%s)"
24. while True:
25. content=queue.get()
26. conn=MySQLdb.connect(host="localhost",user="pyuser",passwd="pypasswd",db="pythondata")
27. cur =conn.cursor()
28. cur.executemany(sql,content)
29. cur.close()
30. conn.commit()
31. conn.close()
32. queue.task_done()
33. def main():
34. print "Readfile Start at,",ctime()
35. for file in listDir('/data/logs/testlog/20120219/testlog1'):
36. queue.put(readFile(file))
37. print "Readfile Done at,",ctime()
38. for q in range(num_thread):
39. worker=Thread(target=writeLinestoDb,args=(q,queue))
40. worker.setDaemon(True)
41. worker.start()
42. print "Insert into mysql Main Thread at",ctime()
43. queue.join()
44. print "Insert into mysql at,",ctime()
45. if __name__=="__main__":
46. print('starting at:',ctime())
47. main()
48. print('ending at:',ctime())

结果

('starting at:', 'Tue Mar 27 14:32:05 2012')
Readfile Start at, Tue Mar 27 14:32:05 2012
Readfile Done at, Tue Mar 27 14:32:07 2012
Insert into mysql Main Thread at Tue Mar 27 14:32:08 2012
Insert into mysql at, Tue Mar 27 14:34:31 2012
('ending at:', 'Tue Mar 27 14:34:31 2012')
mysql> select count(*) from log;
+----------+
| count(*) |
+----------+
| 1510551 |
+----------+

读用了2秒中，插入使用2分23秒

第一个多线程脚本错误的原因是传入队列的数据问题。 还有一个问题，读的文件超过物理内存和虚拟内存的总量，会造成内存溢出程序挂掉，解决办法每次读取指定行