google批量搜索实现方式

本文主要记录一下最近所做的关于Google批量搜索的实现方式。

搜索目的：

获取关键词在某个域名下对应的Google搜索结果数

搜索方式：

关键词+inurl

例如："爬虫" inurl:cnblogs.com

第一种方式：

使用爬虫手段，构造Google搜索url进行采集。

示例：https://www.google.com/search?q=%22%E7%88%AC%E8%99%AB%22+inurl:cnblogs.com&filter=0

此种方式需要面对的问题有：

1、搜索结果有误差，不同ip得到的结果数不一样，不过误差也不是很大，可以接受。

2、搜索结果第一页显示数量和第二页显示数量存在误差，误差很大。第二页更真实。

3、单个ip一般访问几十次就会被识别为机器人，需要验证码，而Google验证码的难度惊人。。。

4、由于某些原因，可以访问Google的资源非常宝贵。市面上甚至没有可以用的代理（大量短效代理）。

Luminati是一家不错的海外代理服务商，但是竟然不能访问Google。自建代理的话，成本太高。

解决方案：

我还是自建代理了:)。

第二种方式：

使用Google Custom Search Api，文档参见 https://developers.google.com/custom-search/v1/overview。

费用计算：

1、每日免费使用100次。

2、超过100次后，按照$5/1000次收费。每日上限10000次。

3、也有不设置上限的接口，参见 https://developers.google.com/custom-search/v1/site_restricted_api

区别在于此接口不能全网搜索，如果只是搜10个一下指定站点的内容可以用这个。

使用条件：

1、你要有一个Google账号

2、加入Google Cloud Platform，创建 Project。创建 API key，启用Custom Search Api。具体操作步骤看文档指引。

3、创建结算账号 https://console.cloud.google.com/billing。需要真实姓名电话等信息以及支持外币的信用卡。

目前Google有新注册赠送一年免费服务+300美金的政策。注册完即可领取，不过可能由于国内注册用户太多吧，Google

在注册页面上已经不支持选择中国了。具体解决办法请大家自行Google搜索，或参考下文解决办法。

4、然后你就可以愉快的使用API了，不用担心被封。

使用方式：

参见：https://developers.google.com/custom-search/v1/using_rest

api地址：https://.googleapis.com/customsearch/v1

必须参数：

cx：Google自定义搜索引擎id，参见https://cse.google.com/cse/all

q：搜索词

key：API key

存在问题：

1、搜索结果数比Google网页搜索第一页结果少，和第二页结果基本一致。

2、贵，不过如果搜索量不是很大的话，可以利用免费次数也还好。

PS:

1、GCP结算账号注册方法参考：

具体过程不赘述，只说关键点。

1、注册国家选择美国

2、居住地址可以搜索美国地址生成器，随便写一个

3、姓名、电话 要写真实的

4、信用卡要写真实的，账单地址也是真实的

然后就没有了，我注册的时候没别的问题，不过看很多网友说，有时候会遇到需要再次验证的情况。还需要提交身份证明和信用卡账单截图。

2、免费的1000次API key获取方式：还是不说了，自己找吧

参考：

https://zhuanlan.zhihu.com/p/24307174