Python3.x：PDFMiner3k在线、本地解析pdf

安装

pip install pdfminer3k

示例一：在线解析pdf

'''

    Demo：pdf2htmlex解析pdf

    Datetime：2018-02-22 15:30:00

'''

import importlib

import sys

import random

from urllib.request import urlopen

from urllib.request import Request

from pdfminer.converter import PDFPageAggregator

from pdfminer.layout import LTTextBoxHorizontal, LAParams

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter

from pdfminer.pdfinterp import PDFTextExtractionNotAllowed

from pdfminer.pdfparser import PDFParser, PDFDocument

'''

 解析pdf 文本，保存到txt文件中

'''

importlib.reload(sys)

user_agent = ['Mozilla/5.0 (Windows NT 10.0; WOW64)', 'Mozilla/5.0 (Windows NT 6.3; WOW64)',

              'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',

              'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',

              'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',

              'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',

              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',

              'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',

              'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',

              'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',

              'Opera/9.27 (Windows NT 5.2; U; zh-cn)',

              'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',

              'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',

              'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',

              'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',

              'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',

              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',

              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',

              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',

              'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',

              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',

              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',

              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

def parse(_path):

    # fp = open(_path, 'rb')  # rb以二进制读模式打开本地pdf文件

    request = Request(url=_path, headers={'User-Agent': random.choice(user_agent)})  # 随机从user_agent列表中抽取一个元素

    fp = urlopen(request) #打开在线PDF文档

    # 用文件对象来创建一个pdf文档分析器

    praser_pdf = PDFParser(fp)

    # 创建一个PDF文档

    doc = PDFDocument()

    # 连接分析器 与文档对象

    praser_pdf.set_document(doc)

    doc.set_parser(praser_pdf)

    # 提供初始化密码doc.initialize("123456")

    # 如果没有密码 就创建一个空的字符串

    doc.initialize()

    # 检测文档是否提供txt转换，不提供就忽略

    if not doc.is_extractable:

        raise PDFTextExtractionNotAllowed

    else:

        # 创建PDf资源管理器 来管理共享资源

        rsrcmgr = PDFResourceManager()

        # 创建一个PDF参数分析器

        laparams = LAParams()

        # 创建聚合器

        device = PDFPageAggregator(rsrcmgr, laparams=laparams)

        # 创建一个PDF页面解释器对象

        interpreter = PDFPageInterpreter(rsrcmgr, device)

        # 循环遍历列表，每次处理一页的内容

        # doc.get_pages() 获取page列表

        for page in doc.get_pages():

            # 使用页面解释器来读取

            interpreter.process_page(page)

            # 使用聚合器获取内容

            layout = device.get_result()

            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，

            for out in layout:

                # 判断是否含有get_text()方法，图片之类的就没有

                # if hasattr(out,"get_text"):

                if isinstance(out, LTTextBoxHorizontal):

                    results = out.get_text()

                    print("results: " + results)

if __name__ == '__main__':

    url = "http://******/201707/P020170717564197883913.pdf"

    parse(url)

示例二：解析本地pdf

'''

    Demo：pdf2htmlex解析pdf

    Datetime：2018-02-22 15:30:00

    Author：lizm

'''

import importlib

import sys

import random

from urllib.request import urlopen

from urllib.request import Request

from pdfminer.converter import PDFPageAggregator

from pdfminer.layout import LTTextBoxHorizontal, LAParams

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter

from pdfminer.pdfinterp import PDFTextExtractionNotAllowed

from pdfminer.pdfparser import PDFParser, PDFDocument

'''

 解析pdf 文本，保存到txt文件中

'''

importlib.reload(sys)

def parseLocal(path_):

    fp = open(path_, 'rb')  # 以二进制读模式打开

    # 用文件对象来创建一个pdf文档分析器

    praser_pdf = PDFParser(fp)

    # 创建一个PDF文档

    doc = PDFDocument()

    # 连接分析器 与文档对象

    praser_pdf.set_document(doc)

    doc.set_parser(praser_pdf)

    # 提供初始化密码doc.initialize("123456")

    # 如果没有密码 就创建一个空的字符串

    doc.initialize()

    # 检测文档是否提供txt转换，不提供就忽略

    if not doc.is_extractable:

        raise PDFTextExtractionNotAllowed

    else:

        # 创建PDf资源管理器 来管理共享资源

        rsrcmgr = PDFResourceManager()

        # 创建一个PDF参数分析器

        laparams = LAParams()

        # 创建聚合器

        device = PDFPageAggregator(rsrcmgr, laparams=laparams)

        # 创建一个PDF页面解释器对象

        interpreter = PDFPageInterpreter(rsrcmgr, device)

        pageCount = 0

        # 循环遍历列表，每次处理一页的内容

        # doc.get_pages() 获取page列表

        for page in doc.get_pages():

            # 使用页面解释器来读取

            interpreter.process_page(page)

            pageCount = pageCount +1

            # 使用聚合器获取内容

            layout = device.get_result()

            count = 0

            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure,

            # LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，

            for out in layout:

                count = count + 1

                # 判断是否含有get_text()方法，图片之类的就没有

                # if hasattr(out,"get_text"):

                if isinstance(out, LTTextBoxHorizontal):

                    results = out.get_text()

                    results = results.strip().replace(' ', '').replace(',', '').replace('\n', '|')

                    print("results:(%s/%s):%s " % (count, pageCount,results))

if __name__ == '__main__':

    path_ = 'E:\SublimeWorks\project\demo\P020170717564197883913.pdf'

    parseLocal(path_)

注意：PDFMiner3k对表格数据支持不太友好，可以用pdf2htmlwx（非python第三方库）将pdf转为html，然后在解析html；

使用过程中出现：

pdfminer与日志配置代码有冲突：

#日志配置代码

logger = logging.getLogger()

#set loghandler

file = logging.FileHandler(sys.path[0]+"\py_sac_log"+time.strftime("%Y%m%d")+".log")

logger.addHandler(file)

#set formater

formatter = logging.Formatter("%(asctime)s %(levelname)s %(message)s")

file.setFormatter(formatter)

#set log level

logger.setLevel(logging.NOTSET)

#还未找到原因

Python3.x：PDFMiner3k在线、本地解析pdf的更多相关文章

  1. Python3.x：pdf2htmlEX（解析pdf）安装和使用

    Python3.x:pdf2htmlEX(解析pdf)安装和使用 简介 pdf2htmlEX是一款优秀的pdf转换成html的工具: 下载 windows下载地址:http://soft.rubypd ...

  2. python3用pdfminer3k在线读取pdf文件

    import importlib import sys import random from urllib.request import urlopen from urllib.request imp ...

  3. python3使用pdfminer3k解析pdf文件

    安装pdfminer模块 pip3 install pdfminer3k 代码如下 #!/usr/bin/env python # coding:utf8 # author:Z time:2018/7 ...

  4. 网页中动态嵌入PDF文件/在线预览PDF内容https://www.cnblogs.com/xgyy/p/6119459.html

    #网页中动态嵌入PDF文件/在线预览PDF内容# 摘要:在web开发时我们有时会需要在线预览PDF内容,在线嵌入pdf文件: 问题1:如何网页中嵌入PDF: 在网页中: 常用的几种PDF预览代码片段如 ...

  5. #网页中动态嵌入PDF文件/在线预览PDF内容#

    摘要:在web开发时我们有时会需要在线预览PDF内容,在线嵌入pdf文件: 问题1:如何网页中嵌入PDF: 在网页中: 常用的几种PDF预览代码片段如下: 代码片段1: 1 <object ty ...

  6. 网页嵌入pdf、在线预览pdf工具及插件（转）

    摘要:在web开发时我们有时会需要在线预览PDF内容,在线嵌入pdf文件: 问题1:如何网页中嵌入PDF: 在网页中: 常用的几种PDF预览代码片段如下: 代码片段1: 1 <object ty ...

  7. 在线打开,浏览PDF文件的各种方式及各种pdf插件------(MS OneDrive/google drive & google doc/ github ?raw=true)

    在线打开,浏览PDF文件的各种方式: 1 Google drive&doc   (国内不好使,you know GFW=Great Firewall) 1. google drive: 直接分 ...

  8. PHP通过PDFParser解析PDF文件

    之前一直找到的资料都是教你怎么生成pdf文档,比如:TCPDF.FPDF.wkhtmltopdf.而我碰到的项目里需要验证从远程获取的pdf文件是否受损.文件内容是否一致这些问题,这些都不能直接提供给 ...

  9. java 的在线下载文件 .pdf

    java  的在线下载文件  .pdf 1.下载资源的本地位置 2.设置响应头 3.下载代码 1 PeriodicalResource periodicalResource = periodicalR ...

随机推荐

  1. java 包冲突解决方法

    1.诊断包冲突 java.lang.NoSuchMethodError: org.apache.commons.io.output.DeferredFileOutputStream.<init& ...

  2. Java知识点梳理——继承

    1.定义:继承允许创建分等级层次的类,就是子类继承父类的特征行为,使得子类对象具有父类实例的方法,   使得子类具有父类相同的行为. 2.继承的特性: a.子类拥有父类非priavte的属性.方法: ...

  3. [LintCode] 有效回文串

    class Solution { public: /** * @param s A string * @return Whether the string is a valid palindrome ...

  4. 170303、PHP微信公众平台开发接口 SDK完整版

    <?php /* 方倍工作室 http://www.fangbei.org/ CopyRight 2015 All Rights Reserved */ define("TOKEN&q ...

  5. PHP错误处理，无法显示验证码。。无法显示首页等莫名其妙的500

    use the date.timezone setting or the date_default_timezone_set() 这是由于调用date时,若timezone设置不正确所产生的E_NOT ...

  6. sql中in和exists的区别

    in 和exists in是把外表和内表作hash 连接,而exists 是对外表作loop 循环,每次loop 循环再对内表进行查询. 一直以来认为exists 比in 效率高的说法是不准确的.如果 ...

  7. windows下使用IIS创建git服务

    Bonobo Git Server 下载地址: https://bonobogitserver.com/ 安装方法:https://bonobogitserver.com/install/ 配置简单, ...

  8. （4.1）SQL Server Browser 与动态端口

    转自:http://blog.51cto.com/jimshu/1120295 一.启用TCP端口 1.启用TCP/IP协议 打开SSCM(SQL Server Configuration Manag ...

  9. docker镜像制作---jdk7+tomcat7基础镜像

    1. 安装docker rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm y ...

  10. Java基础—内部类（转载）

    转载自:java中的匿名内部类总结 在Java中,可以将一个类定义在另一个类里面或者一个方法里面,这样的类称为内部类.广泛意义上的内部类一般来说包括这四种:成员内部类.局部内部类.匿名内部类和静态内部 ...