因为制作B2b网站需要,需要入库企业信息数据.所以目光锁定企查查数据,废话不多说,开干! #-*- coding-8 -*- import requests import lxml import sys from bs4 import BeautifulSoup import xlwt import time import urllib   def craw(url,key_word,x):     User_Agent = 'Mozilla/5.0 (Windows NT 6.1; Win64

(为编写完善能拿下来数据) 企查查代码数据如下: #encoding:utf-8 import requests from lxml import etree import random import re #目标采集地址 base_url1='http://m.qichacha.com' base_url='https://m.qichacha.com/search?key=' user_agent=[ "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/

企查查每日新增企业数据抓取尚未完成的工作: 需要自行抓包获取设备id,appid,sign等等 sign和时间戳保持一致即可 把所有的数据库.redis配置 无法自动登录,账号需要独立 redis数据转存mysql 企查查限制,每分钟请求大概不能超过30次,所有功能未加并发,请不要使用代理并发,会封账户的 有些工作尚未完成,需要自己进行继续开发,可以找我要app的脱壳源代码,继续分析. *已经完成工作 每天定时抓取 自动刷新token 省份.市的所有代码 token自动刷新 根据地址自动将省份.

原始出处:https://www.cnblogs.com/Charltsing/p/XPath2Doc.html 很多人需要从网站采集一些数据填写Word模板,手工操作费时费力还容易出错,所以我给朋友写了这个工具.本程序只支持Docx格式的模板文件.本程序不是爬虫,不是自动采集工具,不能自动登录网站.需要自己在WebBrowser窗口里面手工登录,并找到需要的数据页面,然后点击程序按钮进行采集,所以是个半自动的网页数据填充Docx工具. 工作原理:网页的每个元素,都可以表示成为XPath语句,所

前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun 通过网上爬虫获取了全国所有企业,然后就需要补充企业信息,首先想到的就是企查查,启信宝等专业网站,最终选择了企查查,尝试了多种方法: 1.selenium爬虫,绕过企查查的登录验证,但账号和IP限制太大,最终放弃 2.通过requests直接请求+cookies,遇到

需要注意的问题: 一.1.微信端访问企查查小程序需要登录.2.访问抓包获取的url是有时效性的过一段时间就不能用了. http://xcx.qichacha.com/wxa/v1/base/getEntDetail?unique=e434b35dd6c22f0d8ba51da8e2572923&token=5bd4f2f035570fd93a45528222883421url 主要是由两个主要参数拼接而成的 :unique 和 token url 就是下面获取的KeyNo唯一索引token 应该

---恢复内容开始--- 采集企查查手机端app数据: 1.首先手机端安装app并usb连接电脑端,fiddler监控手机请求数据对数据进行分析抓取. 手机端界面与fiddler界面参照: 2.对获取到url进行分析 试采集当前页面信息: 3.分析动态加载需要请求的参数及进一步深度urlhttps://appv3.qichacha.net/app/v1/other/IPOCompanySearch?searchKey=&sign=bbdb1ed793cb244e4bfb4b9b120984ce3

企查查app sign算法破解 已删除!!!! 这次我们又找到设备id,现在就只差aXM这个了. 关注小白公众号,小白带你成长.

在经历前两次探索之后,终于可以把所有的加密关键参数搞定了. 已删除!!!! 好了现在基本结束了. 根据这个我写了一自动抓取企查查每日新增数据,需要的话可以去看看 企查查app新增企业数据抓取 关注小白公众号,和小白一起成长.

企查查app sign算法破解初步探索 之前有说过企查查的sign的解密,但这次是企查查app的sign算法破解,目前是初步进程. 已删除!!!! 上边一些变量已经找到了,其中就有时间戳,其余两个需要在进一步探索. 关注小白的技术的公众号,让我们一起成长.

本文首发于 Nebula Graph Community 公众号 背景 企查查是企查查科技有限公司旗下的一款企业信用查询工具,旨在为用户提供快速查询企业工商信息.法院判决信息.关联企业信息.法律诉讼.失信信息.被执行人信息.知识产权信息.公司新闻.企业年报等服务. 为更好地展现企业之间的法律诉讼.风险信息.股权信息.董监高法等信息,我们抽取结构化/非结构化的企业数据构建企业知识图谱,为用户提供真实可靠的服务. 图数据库选择 在最初的时候,我们用的是 Neo4j HA cluster 作为存储端.

这里是完整的工商信息采集代码,不过此程序需要配合代理ip软件使用.问题:1.网站对ip之前没做限制,但是采集了一段时间就被检测到设置了反爬,每个ip只能访问十多次左右就被限制访问.2.网站对请求头的检测识别解决:1.配合代理ip软件(风讯代理)设置自动切换ip时间,执行爬虫程序.2.中间件设置随机user-agent 采集结果:正常采集速度一天大概采集1万条数据左右.问题:切换ip会造成程序断网一些字段遗漏解决(设置的有唯一索引避免重复采集,多次执行爬虫)company_info.py # -*

用Nodejs把Python实现过的理想论坛爬虫又实现了一遍,但是怎么判断所有回调函数都结束没有好办法,目前的spiderCount==spiderFinished判断法在多页情况下还是会提前中止. 代码如下: //====================================================== // 理想论坛帖子下载爬虫1.01 // 目标网址:http://bbs.tianya.cn/post-no05-308123-1.shtml // 2018年4月16日 /

大家好,今天我和大家分享一下由万维网之父发起的一场数据主权革命.什么叫数据主权?很容易理解,现在我们的数据是把持在巨头手里的,你的微信通讯录和聊天记录都无法导出,不管是从人权角度还是从法理角度,这些数据应该都是属于你的,但是你没有控制权,SoLiD 要做的核心的一件事就是让这些数据归于用户控制.它带来了一种全新的开发范式,这个范式是啥我们接下来会有介绍.那么什么是革命?革谁的命?也非常清晰,就是革那些体大不尊的巨头的命. <!-- more --> 本文整理自蒸汽记忆创始人谢扬在 2019 年

大家好,我是二哥.前高级技术专家 & 增长黑客,现一枚爱折腾的小小创业者,专注于 RPA & SaaS 软件这块.这次给大家带来如何利用 RPA 实现自动化获客 一.RPA 是什么?难吗? RPA 对大家来说,可能挺陌生的,其实它很简单. Robotic Process Automation(简称 RPA )机器人流程自动化,是一种技术,是以软件机器人 + AI / OCR 等科技能力结合,在软件上的某些业务操作场景中,达到机器替人,实现重复的工作自动化. RPA 通过模拟人在电脑.平板和

1.常用工具相关 有道云笔记 http://note.youdao.com/signIn/index.html 36镇-最好用的共享收藏夹 http://www.36zhen.com/ 浏览器同步测试工具 http://www.browsersync.cn/ https://www.browsersync.io/ 草料二维码生成器 http://cli.im/ GitHub https://github.com/ StackOverFlow http://stackoverflow.com/ 图

从本质上讲,工商营业执照号码和统一社会信用代码是两套完全不一样的编码规则,识别结果也仅有行政区划部分为两者共有,但因为这两种编码同时存在的原因,所以如果需要在系统中唯一标志一家企业时,还是可以通过工商营业执照号码或统一社会信用代码来进行识别. 工商营业执照号码长度按工商规定为15位,统一社会信用代码按国家规定是18位,你可以在此类库的验证基础上,通过其它网站(比如企查查)来进一步查验企业是否真实存在. 在NumberValidators中,该部分验证相关的内容均在NumberValidators

1.常用工具相关 有道云笔记 http://note.youdao.com/signIn/index.html 36镇-最好用的共享收藏夹 http://www.36zhen.com/ 浏览器同步测试工具 http://www.browsersync.cn/ https://www.browsersync.io/ 草料二维码生成器 http://cli.im/ GitHub https://github.com/ StackOverFlow http://stackoverflow.com/ 图

猫宁!!! 最近看到一家网贷机构在APP上的温馨提示,提到了网贷逾期与个人征信的关系以及向客户发放贷款的7项基本原则. 如下: 贷款申请及逾期告知 尊敬的客户,感谢您选择####股份有限公司为您提供贷款金融服务! 特别告知: 我司不会向不符条件的客户发放贷款:如您逾期后,将承担罚息.上报征信等法律责任. 一.如您逾期后,您将会面临如下法律责任: 1.承担罚息:自您逾期之日起,我司即会向您收取法定的罚息.这将极大程度上加重您的债务负担! 2.上报征信:我司数据平台全面对接央行征信中心系统,您的不良

天眼查sign 算法破解 最近真的在sign算法破解上一去不复返 前几天看过了企查查的sign破解 今天再看看天眼查的sign算法破解,说的好(zhuang)点(bi)就是破解,不好的就是这是很简单的东西啊,只需要找key就可以了,话不多说,看破解之路. 这个不是天眼查的appsign,app没用到sign,用的Authorization,所以啊,要去研究Authorization,下次有时间继续看Authorization,也说不定用到了,继续继续. 今天看天眼查的应用登录,就发挥出天才脑子,