腾讯云OCR服务二次开发
腾讯云OCR服务二次开发
前言
因为腾讯云账户中还剩一点点钱,刚刚好够买腾讯云里文字识别服务,想着自己平时看PDF比较多,可以用这个服务来便捷的进行图像文字转换。我购买的是通用印刷体识别,即可以对图片进行识别,也可以对PDF文件进行识别。需要注意的的是,图片识别需要将图片转为Base64,PDF识别时每次只能识别一张。
本文记录了对腾讯云OCR服务二次开发的代码和开发过程中遇到的问题。
安装SDK
我使用的是Python 3.6,要使用腾讯云的OCR服务,要先在本地环境中安装腾讯云的SDK。安装方式见:Python - SDK 中心 - 腾讯云 (tencent.com)
调用API
学习API文档
安装好SDK后,调用相应的接口就ok了,可以参考:文字识别 API 概览 - 服务端 API 文档 - 文档中心 - 腾讯云 (tencent.com)
因为主要需求是对PDF以及其截图进行识别,我购买的是GeneralBasicOCR-通用印刷体识别,腾讯可以在API Explorer - 云 API - 控制台 (tencent.com)中进行调试,比较方便。
通用印刷体识别API
通用印刷体识别主要支持以下参数:
参数名称 | 必选 | 类型 | 描述 |
---|---|---|---|
Action | 是 | String | 公共参数,本接口取值:GeneralBasicOCR。 |
Version | 是 | String | 公共参数,本接口取值:2018-11-19。 |
Region | 是 | String | 公共参数,详见产品支持的 地域列表,本接口仅支持其中的: ap-beijing, ap-guangzhou, ap-hongkong, ap-seoul, ap-shanghai, ap-singapore, na-toronto |
ImageBase64 | 否 | String | 图片/PDF的 Base64 值。 要求图片/PDF经Base64编码后不超过 7M,分辨率建议600*800以上,支持PNG、JPG、JPEG、BMP、PDF格式。 图片的 ImageUrl、ImageBase64 必须提供一个,如果都提供,只使用 ImageUrl。 |
ImageUrl | 否 | String | 图片/PDF的 Url 地址。 要求图片/PDF经Base64编码后不超过 7M,分辨率建议600*800以上,支持PNG、JPG、JPEG、BMP、PDF格式。 图片存储于腾讯云的 Url 可保障更高的下载速度和稳定性,建议图片存储于腾讯云。非腾讯云存储的 Url 速度和稳定性可能受一定影响。 |
Scene | 否 | String | 保留字段。 |
LanguageType | 否 | String | 识别语言类型。 支持自动识别语言类型,同时支持自选语言种类,默认中英文混合(zh),各种语言均支持与英文混合的文字识别。 可选值: zh:中英混合 zh_rare:支持英文、数字、中文生僻字、繁体字,特殊符号等 auto:自动 mix:混合语种 jap:日语 kor:韩语 spa:西班牙语 fre:法语 ger:德语 por:葡萄牙语 vie:越语 may:马来语 rus:俄语 ita:意大利语 hol:荷兰语 swe:瑞典语 fin:芬兰语 dan:丹麦语 nor:挪威语 hun:匈牙利语 tha:泰语 hi:印地语 ara:阿拉伯语 |
IsPdf | 否 | Boolean | 是否开启PDF识别,默认值为false,开启后可同时支持图片和PDF的识别。 |
PdfPageNumber | 否 | Integer | 需要识别的PDF页面的对应页码,仅支持PDF单页识别,当上传文件为PDF且IsPdf参数值为true时有效,默认值为1。 |
IsWords | 否 | Boolean | 是否返回单字信息,默认关 |
考虑到我的实际使用需求,主要会使用到ImageBase64
、ImageUrl
、IsPdf
、PdfPageNumber
这几个参数。
代码
我主要使用了argparse
、base64
、json
这几个python内置模块。
我希望能够在CLI中便捷的使用这个工具,但是由于有很多不同的情况,所以使用argparse
模块,覆盖不同的情况。同时,又因为对图片识别时,参数是base64,所以需要使用base64模块将图片转化为base64格式。
main.py
# -*- coding: UTF-8 -*-
# 参考:https://cloud.tencent.com/document/product/866/33515
# Author:Zhangyifei 2022年4月10日
import pyperclip
from tencentcloud.common.exception.tencent_cloud_sdk_exception import TencentCloudSDKException
from ocrtool import MyOcrTool, ReqObj
from parse_args import parse_args
if __name__ == '__main__':
try:
# 实例化Ocr工具
my_ocr_tool = MyOcrTool()
client = my_ocr_tool.client
req = ReqObj()
# 获取命令行参数
args = parse_args()
if args.local:
if args.isPdf:
req.req_local_img(args.local, args.page)
else:
req.req_local_img(args.local)
elif args.url:
if args.isPdf:
req.req_url_img(args.url, args.page)
else:
req.req_url_img(args.url)
# 获取输出
resp = client.GeneralBasicOCR(req)
ans = ''
if args.newline:
for i in resp.TextDetections:
ans += (i.DetectedText + '\n')
else:
for i in resp.TextDetections:
ans += (i.DetectedText)
print(ans)
if args.clip:
pyperclip.copy(ans)
except TencentCloudSDKException as err:
print(err)
parse_args.py
import argparse
import sys
def parse_args():
# 设置命令行参数
parser = argparse.ArgumentParser(description='OCR解析方式')
parser.add_argument('-u', '--url', type=str, required=False, help='图片的url')
parser.add_argument('-l', '--local', type=str, required=False, help='本地图片的地址')
parser.add_argument('-p', '--isPdf', required=False, action='store_true', help='是否是Pdf')
parser.add_argument('-n', '--page', type=int, required=False, help='识别哪一页PDF')
parser.add_argument('-s', '--newline', required=False, action='store_true', help='Ocr识别结果是否换行')
parser.add_argument('-c', '--clip', required=False, action='store_true', help='输出结果是否粘贴到剪切板中')
# 当未输入命令行参数时,打印帮助
if len(sys.argv) == 1:
parser.print_help()
sys.exit(1)
# 获取命令行参数
args = parser.parse_args()
# page参数和isPdf参数存在依赖
if args.isPdf and not args.page:
parser.print_help()
parser.error('The --isPdf argument requires the --page argument.')
# url参数和local参数只能有一个
if args.url and args.local:
parser.error('There can only be one argument --url and argument --local')
return args
ocrtool.py
# -*- coding: UTF-8 -*-
# 参考:https://cloud.tencent.com/document/product/866/33515
# Author:Zhangyifei 2022年4月10日
import base64
import json
from tencentcloud.common import credential
from tencentcloud.common.profile.client_profile import ClientProfile
from tencentcloud.common.profile.http_profile import HttpProfile
from tencentcloud.ocr.v20181119 import ocr_client, models
def image_to_base64(file_path):
"""
将pdf转为Base64流
:param pdf_path: PDF文件路径
:return:
"""
with open(file_path, "rb") as image_file:
encoded_string = base64.b64encode(image_file.read())
return str(encoded_string, 'UTF-8')
class MyOcrTool(object):
def __init__(self):
# 参考https://cloud.tencent.com/document/product/866/33515
self.region = "ap-guangzhou"
self.cred = credential.Credential("xxx", "xxx")
self.httpProfile = HttpProfile()
self.httpProfile.endpoint = "ocr.tencentcloudapi.com"
self.clientProfile = ClientProfile()
self.clientProfile.httpProfile = self.httpProfile
self.client = ocr_client.OcrClient(self.cred, self.region, self.clientProfile)
self.params = {}
class ReqObj(models.GeneralBasicOCRRequest):
def __init__(self):
models.GeneralBasicOCRRequest.__init__(self)
def update_req_params(self, params):
# 更新req中的params
self.from_json_string(json.dumps(params))
def req_local_img(self, file_path, page=None):
# 请求本地的image文件
imagebase64 = image_to_base64(file_path)
# 由于page和isPdf存在依赖,当page存在时,说明是对pdf进行处理
if not page:
params = {
"ImageBase64": imagebase64,
}
self.update_req_params(params)
else:
params = {
"ImageBase64": imagebase64,
"IsPdf": True,
"PdfPageNumber": page
}
self.update_req_params(params)
def req_url_img(self, url_path, page=None):
# 请求url中的image文件
# 由于page和isPdf存在依赖,当page存在时,说明是对pdf进行处理
if not page:
params = {
"ImageUrl": url_path
}
self.update_req_params(params)
else:
params = {
"ImageUrl": url_path,
"IsPdf": True,
"PdfPageNumber": page
}
self.update_req_params(params)
运行结果
本地图片
使用-l
参数(或者--local
)表示对本地图片进行处理,使用-s
(或者--newline
)表示对图片中每行识别出来的内容进行换行。不使用-s
时默认表示不换行。使用-c
(或者--clip
)表示将输出结果复制到粘贴板上,此时就可以方便的将输出的内容直接进行文本粘贴。
本地PDF
使用-p
或者(--pdf
)表示该文件是pdf文件,此时需要记得使用-n
或者(--page
)表示对哪一页进行OCR识别。否则的化会有报错提醒。
PS:如果需要对整个pdf进行识别和输出,可以重新进行函数封装,本文没有相关需求,暂不涉及。
网络图片
以下图为例:
我们复制图片url,使用-u
(或者--url
)表示对url进行处理,使用-s
(或者--newline
)表示对图片中每行识别出来的内容进行换行。
问题整理
问题1:argparse
模块参数之间如何生成依赖?
使用if语句进行判断,不符合依赖条件则抛出错误。
# page参数和isPdf参数存在依赖
if args.isPdf and not args.page:
parser.print_help()
parser.error('The --isPdf argument requires the --page argument.')
问题2:argparse
模块parser
的参数type是bool时,CLI中传入参数即使是False
,也会认为是True
?
这是因为命令行传入的参数默认会认为是字符串格式,因此传参是False仍会认为是True。这个问题在argparse bool python - CSDN中有说明解决办法。我的解决办法是涉及到type是bool格式的,使用action
参数进行判断。
parser.add_argument('-c', '--clip', required=False, action='store_true', help='输出结果是否粘贴到剪切板中')
问题3:bytes格式转化为str格式的方法:
str(encoded_string, 'UTF-8')
后续想法
封装函数对整个pdf进行处理并输出成文档(或EXCEL)
部署web服务器,在网页中进行操作OCR识别操作。
腾讯云OCR服务二次开发的更多相关文章
- 云+社区分享——腾讯云OCR文字识别
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由云+社区运营团队发布在腾讯云+社区 前言 2018年3月27日腾讯云云+社区联合腾讯云智能图像团队共同在客户群举办了腾讯云OCR文字识 ...
- 腾讯云OCR图片文字识别
一. OCR OCR (Optical Character Recognition,光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗.亮的模式确定其形状,然后用字符识别 ...
- JavaWeb-SpringBoot_(下)腾讯云点播服务之视频的显示-demo
腾讯视频云点播 传送门 项目在腾讯云点播服务之视频的上传(上)[附源码]的基础上添加了两个html页面 此视频 播放传送门 (播放视频GIF会超过10M...) package com.Gary.v ...
- JavaWeb-SpringBoot_(上)腾讯云点播服务之视频的上传-demo
使用Gradle编译项目 传送门 腾讯视频云点播 传送门 项目已托管到Github上 传送门 腾讯云点播服务之视频的显示(下) 传送门 个人腾讯云控制台中的视频管理 IndexController.j ...
- 腾讯云容器服务 TKE 拿下新加坡 MTCS 最高级别安全认证
近日,腾讯云容器服务 TKE 荣获新加坡 MTCS 最高级安全认证,标志着腾讯云 TKE 在为用户提供可靠.易部署.灵活扩展等基础服务上,已经全面满足了新加坡监管机构以及多个行业客户对服务安全的要求. ...
- asp.net core使用serilog将日志推送到腾讯云日志服务
为什么是serilog? Serilog是 .NET 中最著名的结构化日志类库. 基于日志事件log events,而不是日志消息log message. 你可以将日志事件格式化为控制台的可读文本或者 ...
- 腾讯云容器服务 TKE 推出新一代零损耗容器网络
随着容器技术的发展成熟,越来越多的组件迁移到容器,在技术迁移过程中,数据库,游戏,AI 这些组件对容器网络性能(时延,吞吐,稳定性)提出了更高的要求.为了得到更优的时延和吞吐表现,各大云厂商都在致力于 ...
- 在腾讯云容器服务 TKE 中利用 HPA 实现业务的弹性伸缩
在 TKE 上利用 HPA 实现业务的弹性伸缩 概述 Kubernetes Pod 水平自动扩缩(Horizontal Pod Autoscaler,以下简称 HPA)可以基于 CPU 利用率.内存利 ...
- 腾讯云快速完成python3.6开发环境搭建与django应用部署
[本文出自天外归云的博客园] 部署python3.6.5 腾讯云服务器安装python3竟然要3个多小时!而且一度速度为0…… 于是网查据说是腾讯云服务器连python官网缓慢导致的,所以想找个国内的 ...
随机推荐
- 使用WebService的优点
1.支持跨平台,跨语言,远程调用 WSDL:web service definition language 直译 webservice定义语言 对应一种类型的文件.wsdl2.定义了web servi ...
- 《前端运维》四、Jenkins--持续构建
首先,我们先来了解下什么叫做持续构建.持续构建简称CI,负责拉取代码库中的代码后,执行用户预定义的脚本,通过一系列编译操作构建出一个制品,并将制品推送到制品库里.常用的持续构建工具有 Gitlab C ...
- VUE常见问题
VUE常见问题 对于MVVM的理解 MVVM 是 Model-View-ViewModel 的缩写 Model代表数据模型,也可以在Model中定义数据修改和操作的业务逻辑 View 代表UI 组件, ...
- kmp-getNext
#include <iostream> using namespace std; void getNext(char a[]){ int k=-1,i=0,next[10]; next[0 ...
- MVC与MVVM?
model-数据层 view-视图层 controller-控制层 MVC的目的是实现M和V的分离,单向通信,必须通过C来承上启下 MVVM中通过VM(vue中的实例化对象)的发布者-订阅者模式实现双 ...
- jQuery--基本过滤选择器
1.基本过滤选择器介绍 基本过滤器: :first 获取数组中第一个元素 :last 获取数组中最后一个 :eq(selector) 获取指定索引 :gt(index) 大于 ...
- Spring-boot-菜鸟-配置-简介
SpringBoot使用一个全局的配置文件,配置文件名是固定的: •application.properties •application.yml 配置文件的作用:修改SpringBoot自动配置的默 ...
- MariaDB数据库设置用户密码
SET PASSWORD [FOR user] = { PASSWORD('some password') | OLD_PASSWORD('some password') | 'encrypted p ...
- elasticsearch 的倒排索引是什么 ?
面试官:想了解你对基础概念的认知. 解答:通俗解释一下就可以. 传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置. 而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典+映射表 即 ...
- 什么是IOC?
IoC是什么 Ioc-Inversion of Control,即"控制反转",不是什么技术,而是一种设计思想.在Java开发中,Ioc意味着将你设计好的对象交给容器控制,而不是传 ...