chrome开发总结（交互/权限/存储）-爬虫

标签（空格分隔）： 杂乱之地

经过一翻折腾。还是选择了chrome来做爬虫。主要是为了解决一些ajax加载的问题以及代理的问题。

1.chrome-配置文件

manifest.json

{

  // 必选

  "manifest_version": 2,

  "name": "我的应用",

  "version": "版本字符串",

  // 推荐

  "default_locale": "en",

  "description": "纯文本描述",

  "icons": {...},

  // 选择某一个（或者无）

  "browser_action": {...},

  "page_action": {...},

  // 可选

  "author": ...,

  "automation": ...,

  "background": {

    // 推荐

    "persistent": false

  },

  "background_page": ...,

  "commands": ...,

  "content_scripts": [{...}],

  "content_security_policy": "策略字符串",

  "converted_from_user_script": ...,

  "current_locale": ...,

  "externally_connectable": {

    "matches": ["*://*.example.com/*"]

  },

  "homepage_url": "http://path/to/homepage",

  "import": ...,

  "incognito": "spanning 或 split",

  "key": "公钥",

  "minimum_chrome_version": "版本字符串",

  "offline_enabled": true,

  "optional_permissions": ...,

  "options_page": "aFile.html",

  "page_actions": ...,

  "permissions": [...],

  "plugins": [...],

  "requirements": {...},

  "script_badge": ...,

  "short_name": "短名称",

  "signature": ...,

  "spellcheck": ...,

  "storage": {

    "managed_schema": "schema.json"

  },

  "tts_engine": ...,

  "update_url": "http://path/to/updateInfo.xml",

  "web_accessible_resources": [...]

}

上面这些不是必须的。把自己需要的加上就可以了。基本上后面的都是不需要的。下面贴一个我的项目的配置

{

  "name": "siteSpider",

  "manifest_version": 2,

  "version": "0.0.2",

  "description": "相对单线程稳定版",

  "browser_action": {

    "default_icon": "spider.png",

    "default_title": "spider",

    "default_popup": "popup.html"

  },

  "permissions": [

    "activeTab",

    "webRequest",

    "webNavigation",

    "webRequestBlocking",

    "proxy",

    "*://*/*",

    "tabs",

    "storage",

    "unlimitedStorage"

  ],

  "background": { "scripts": ["js/jquery-1.11.2.min.js", "js/bk.js"] },

  "content_scripts": [

    {

      "matches": [

        "*://*/*"

      ],

      "js": [

        "js/jquery-1.11.2.min.js",

        "js/content.js"

      ]

    }

  ]

}

2. chrome-js简介

chrome一般情况下是3个js。这3个js分别是popup.js/background.js/content.js

这三个js的名字分别代表他们的位置及作用的地点。

  • popup.js是弹出的那个页面用的js。假如在弹出的页面引用了document.getElement.ById().则 他获取的是popup.html页面的内容。而不是当前页的。popup.js所作用的范围就是popup.

  • background.js：顾名思义，他是一个后台的js，在任何页面都可以调用。他主要的作用就是调度及与我们的后台发送ajax请求等。通过bk.js给popup/content来发送信息。操作tab以及做一些监听等操作。

  • content.js:是页面中的js，也就是tab中的js。在background.js可以通过

chrome.tabs.query(active:true,currentWindow:true,function(tabs){

    //发送一些操作指令

})

来发送一些指令进行操作。并且只能使用chrome.extension.*的api.

3. chrome-交互

chrome插件交互一般是3种js之间的交互。

下面演示一下popup.js跟background.js的交互。

这是一个popup.html

<!DOCTYPE html>

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>Title</title>

    <script type="text/javascript" src="js/jquery-1.11.2.min.js"></script>

    <script type="text/javascript" src="js/popup.js"></script>

</head>

<body>

<div>

    <!-- <div>

        sku编码：<input type="text" id="sku"/>

    </div> -->

    <div>

        抓取规则:<select id="rule">

       <option value="tb">淘宝</option>

    </select>

    </div>

    <div>

        抓取页数:<input type="text" id="fetchNum" value="1"/>

    </div>

    <button id="startFetch">抓取</button>

    <button id="hasLoginOk">已登录</button>

</div>

<div>

使用说明：

1.在淘宝搜索好关键词（可选择排序或其他淘宝功能）后，点击抓取。

2.如果出现登录验证，请登录后点击已登录，然后刷新当前网页。

3.插件正常运行中， 禁止使用该浏览器浏览其他网页。

</div>

<!-- <div id="html">

    抓取总数：<span id="fetchTotals"></span>

</div>

-->

</body>

</html>

下面是popup.js

$(function() {//绑定按钮

	$("#startFetch").bind("click", startFetch);

    $("#hasLoginOk").bind("click",hasLoginOk);

})

function hasLoginOk() {

	chrome.runtime.sendMessage({

		type: "mustLoginIsOk"

	},

    function(response) {

    });

}

function startFetch() {

	var rule = $("#rule").val();

	var num = $("#fetchNum").val();

	var sku = $("#sku").val();

	var baseUrl = $("#baseUrl").val();

	chrome.runtime.sendMessage({//发送消息

		type: "fetchUrls",

		sku: sku,

		rule: rule,

		num: num,

		baseUrl: baseUrl

	},

    function(response) {

        $("#fetchTotal").html(response);

    });

}

/* chrome.extension.onMessage.addListener(function(request,_,response){

    if(request.totals){

        $("#fetchTotal").html("z");

        $("#fetchTotal").html(request.totals);

    }

}) */

可以看到popup.js通过chrome.runtime.sendMessage()来发送消息。

在backgroundjs通过chrome.extension.onMessage.addListener()来放置一个监听器。监听所有的请求。

总结 chrome-js之间的通信都是通过chrome-api的chrome.tabs.sendMessage，chrome.runtime.sendMessage，chrome.extension.onMessage.addListener()来进行的。

api地址：http://chajian.baidu.com/developer/extensions/api_index.html

下面是代码地址

https://github.com/wongloong/chromeSpider

chrome开发总结（交互/权限/存储）-爬虫的更多相关文章

  1. Chrome 开发工具指南

    Chrome 开发工具指南 谷歌 Chrome 开发工具,是基于谷歌浏览器内含的一套网页制作和调试工具.开发者工具允许网页开发者深入浏览器和网页应用程序的内部.该工具可以有效地追踪布局问题,设置 Ja ...

  2. 不仅仅是浏览器 走近Chrome开发人员工具

    Chrome浏览器以其简单.快速.安全.稳定.扩展丰富等特性受到了不少人的喜爱,除了这些特性,Chrome浏览器还提供了非常简单方便的开发人员工具,可以为开发提高效率,加上Chrome浏览器对HTML ...

  3. Web自动化之Headless Chrome开发工具库

    命令行运行Headless Chrome Chrome 安装(需要带梯子) 下载地址 几个版本的比较 Chromium 不是Chrome,但Chrome的内容基本来源于Chromium,这个是开源的版 ...

  4. AngularJS进阶(二十九)AngularJS项目开发技巧之localStorage存储

    AngularJS项目开发技巧之localStorage存储       注: localStorage深度学习 绪 项目开发完毕,测试阶段发现后台管理端二维码生成有问题,问题在于localStora ...

  5. Chrome 开发工具之Timeline

    之前有说到Element,Console,Sources大多运用于debug,Network可用于debug和查看性能,今天的主角Timeline更多的是用在性能优化方面,它的作用就是记录与分析应用程 ...

  6. Chrome 开发工具之Sources

    Sources面板主要用于查看web站点的资源列表及javascript代码的debug 熟悉面板 了解完面板之后,下面来试试这些功能都是如何使用的. 文件列表 展示当前页面内所引用资源的列表,和平常 ...

  7. Chrome 开发工具之Console

    前段时间看git的相关,记的笔记也大致写到了博客上,还有些因为运用不熟,或者还有一些疑惑点,暂时也不做过多纠缠,之后在实践中多运用得出结论再整理分享吧. 工欲善其事,必先利其器.要想做好前端的工作,也 ...

  8. winform快速开发平台 -> 通用权限管理之动态菜单

    这几个月一直忙APP的项目,没来得及更新项目,想想该抽出时间整理一下开发思路,跟大家分享,同时也希望得到宝贵的建议. 先说一下我们的权限管理的的设计思路,首先一个企业信息化管理系统一定会用到权限管理, ...

  9. Chrome开发工具之Console

    Chrome开发工具-Console 看了别人的博客,才发现在百度主页用开发工具“Console”可以看到百度的招聘信息 前端调试工具可以按F12打开,谷歌的开发工具中的Console面板可以查看错误 ...

随机推荐

  1. 我对C#的理解

    C#里面所有东西都可以看作对象.接口,类,枚举等等. 类是最常用的,可以继承别的接口,类等,就会自动拥有别人的功能. 接口是类的概要.给别人看的协议,好像一个人对外做出的承诺. 抽象类是实现了部分承诺 ...

  2. <Oracle Database>数据字典

    数据字典 数据字典是由Oracle服务器创建和维护的一组只读的系统表,它存放了有关数据库和数据库对象的信息,Oracle服务器依赖这些信息来管理和维护Oracle数据库. 数据字典分为两大类:一种是基 ...

  3. Linux内核分析之扒开系统调用的三层皮（下）

    一.实验内容 1. 通过内核的方式使用系统调用 需要使用的命令 rm menu -rf //强制删除当前menugit clone http://github.com/mengning/menu.gi ...

  4. windows 录音程序（二）

    (二)录音流程 Waveform APIs,流程如下: a.打开录音设备waveInOpen; b.准备wave数据头waveInPrepareHeader; c.准备数据块waveInAddBuff ...

  5. NGUI 3.0.7的新锚点系统设置不好就会造成显示错误的错觉

    每次设置NGUI控件的锚点时,都需要刷新一下窗口,不然就会造成显示错误的错觉. 同时,NGUI控件设置锚点的参考对象为一个物体时还需要调整其控件大小,不然也会造成显示错误的错觉.

  6. 【C-数据类型 常量 变量】

    一.基本数据类型 1) 整型 (int   %d) 2) 字符型 (char  %c) 3) 浮点型 %f ①. 单精度浮点型(float) ②. 双精度浮点型(double) 2.指针类型 void ...

  7. Use Hibernate core API

    For Hibernate configuration, We can use hibernate.cfg.xml file to configure: <?xml version='1.0' ...

  8. chrome插件开发-消息机制中的bug与解决方案

    序言 最近开发chrome插件,涉及到消息传递机时按照教程去敲代码,结果总是不对.研究了大半天终于找到原因,现在记录下. 程序 插件程序参考官网 chrome官网之消息传递机制, 不能FQ的同事也可以 ...

  9. ABP框架详解（八）动态ApiController的生成和访问机制

    在ABP框架中提供了一套动态生成ApiController的机制(依然支持原生ApiController的使用方式),虽然说是动态生成ApiController但是实际上并没有真正在启动程序的时候生成 ...

  10. 【leetcode】Pow(x,n)

    马上各种校招要开始了,怎么也得准备一下,之前一直在看看机器学习,NLP方面的东西,收获很多.最近换换脑子,回过头来做做leetcode,感觉还是蛮有意思的.今天刷了个水题,AC不高,然而难度也不高.. ...