爬虫学习之pdf读取和存储

在py3中如需进行pdf文件操作需要加载PDFMiner3K库文件，可通过pip方式或者可以下载源文件方式安装

python3 -m pip install pdfminer3k
下载源文件方式:
1、先下载源文件
2、通过python3 setup.py install

处理Pdf文件的思路：

PDF 读成字符串，然后用StringIO 转换成文件对象

实例：

 from urllib.request import urlopen
 from io import StringIO
 from pdfminer.pdfinterp import PDFResourceManager, process_pdf
 from pdfminer.converter import TextConverter
 from pdfminer.layout import LAParams

 def readPDF(pdfFile):
     rsrcmgr = PDFResourceManager()
     retstr = StringIO()
     laparams = LAParams()
     device = TextConverter(rsrcmgr, retstr, laparams=laparams)

     process_pdf(rsrcmgr, device, pdfFile)
     device.close()

     content = retstr.getvalue()
     retstr.close()
     return  content

 pdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")
 outputString = readPDF(pdfFile)
 print(outputString)
 pdfFile.close()

readPDF 函数最大的好处是，如果你的PDF 文件在电脑里，你就可以直接把urlopen 返回
的对象pdfFile 替换成普通的open() 文件对象：
pdfFile = open("../pages/warandpeace/chapter1.pdf", 'rb')
输出结果可能不是很完美，尤其是当PDF 里有图片、各种各样的文本格式，或者带有表格
和数据图的时候。但是，对大多数只包含纯文本内容的PDF 而言，其输出结果与纯文本格
式基本没什么区别。