1、存在问题

same origin policy（同源策略）

页面中的Javascript只能读取，访问同域的网页。这里需要注意的是，Javascript自身的域定义和它所在的网站没有任何关系，只和该Javascript代码所嵌入的文档的域有关。如以下示例代码：

<!DOCTYPE HTML>

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>This is a webpage came from http://localhost:8000</title>

  <script src="//ajax.googleapis.com/ajax/libs/jquery/1.8.3/jquery.min.js"></script>

</head>

<body>

  <div id="test">123</div>

  <script type="text/javascript">

    console.log($('#test').text());

  </script>

</body>

</html>

该HTML文档来源于http://localhost:8000，这意味着它的域为http://localhost:8000(域和端口也相关)，虽然页面中的jquery加载自ajax.googleapis.com，然而该JQuery的域只和它所处的HTML文档的域有关，从而可以访问该HTML文档的属性，因而以上代码可以正常运行。
附：使用上述代码的原因是，开发者将通用的Javascript库(如JQuery)地址指向公共相同的URL。当用户加载过一次该JS后，以后的加载将都通过浏览器缓存，从而加快了页面加载速度。

从这个角度看问题，假如提问者所知的远端指的是互联网上任意的页面，那么不能实现你所期望的功能；如果远端指的是提问者你所拥有控制权的网站，请看下面的Relaxing the same-origin policy；

Relaxing the same-origin policy

  1. Document.domain：用于子域名的情况。对于多个windows(一个页面有多个iframe)，通过设置document.domain的值为相同的域，使得Javascript可以访问异域window；
  2. Cross-origin resource sharing：通过在服务器端返回头增加Access-Control-

Allow-Origin，该头部包含了所有允许访问的域的列表。支持的浏览器将允许本页面Javascript访问这些域；

  1. cross-document messaging：该方式和域无关，不同文档的Javascript可以相互发送接受消息而不受限制，然而不能主动趣读取，调用另一个文档的方法属性；

如果提问者拥有远端页面的控制权，可以尝试第二种方法。

服务器端抓取

根据提问者的需求，比较可行的方案应该是在服务器端进行处理。借助(http://phantomjs.org/)，你可以使用Javascript语法在服务器端进行DOM操作，同时你可以使用nodejs进行进一步的分析等，当然，你也可以使用Python, php ,Java语言进行后续操作。

结论：

（1）服务端将网页的跨域限制打开；

（2）使用服务度端请求页面

前端js 爬取 获取网页的更多相关文章

  1. Python 爬取单个网页所需要加载的地址和CSS、JS文件地址

    Python 爬取单个网页所需要加载的URL地址和CSS.JS文件地址 通过学习Python爬虫,知道根据正式表达式匹配查找到所需要的内容(标题.图片.文章等等).而我从测试的角度去使用Python爬 ...

  2. node.js爬取数据并定时发送HTML邮件

    node.js是前端程序员不可不学的一个框架,我们可以通过它来爬取数据.发送邮件.存取数据等等.下面我们通过koa2框架简单的只有一个小爬虫并使用定时任务来发送小邮件! 首先我们先来看一下效果图 差不 ...

  3. 使用htmlparse爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  4. 使用htmlparser爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  5. Python：将爬取的网页数据写入Excel文件中

    Python:将爬取的网页数据写入Excel文件中 通过网络爬虫爬取信息后,我们一般是将内容存入txt文件或者数据库中,也可以写入Excel文件中,这里介绍关于使用Excel文件保存爬取到的网页数据的 ...

  6. python爬取某个网页的图片-如百度贴吧

    python爬取某个网页的图片-如百度贴吧 作者:vpoet mail:vpoet_sir@163.com 注:随意copy,不用告诉我 #coding:utf-8 import urllib imp ...

  7. python使用requests库爬取网页的小实例：爬取京东网页

    爬取京东网页的全代码: #爬取京东页面的全代码 import requests url="https://item.jd.com/2967929.html" try: r=requ ...

  8. 爬取指定网页的源代码显示在GUI中

    建立一个GUI图形界面用来用来输入网址和代码显示的区域 #encoding=utf-8 __author__ = 'heng' #创建一个可以抓取输入网址源代码的GUI from urllib2 im ...

  9. R语言爬取动态网页之环境准备

    在R实现pm2.5地图数据展示文章中,使用rvest包实现了静态页面的数据抓取,然而rvest只能抓取静态网页,而诸如ajax异步加载的动态网页结构无能为力.在R语言中,爬取这类网页可以使用RSele ...

随机推荐

  1. printf打印字节

    int i = 0; printf("buf:"); for(i = 0; i < sizeof(buf); i++) { printf("0x%x", ...

  2. Linux E667 同步失败

    在使用Vim编辑/proc目录下的文件后,保存,显示"E667 同步失败" 原因 因为proc这个目录是一个虚拟文件系统,它放置的数据都是在内存中,本身不占有磁盘空间,所以使用Vi ...

  3. day 03 预科

    目录 什么是变量: 变量的组成 变量的风格 1.驼峰体 2.下划线 变量名的组成规范 注释的作用 turtle库的简单使用 什么是变量: 1.是变化的量. 2.变:现实世界中的状态是会发生改变的. 3 ...

  4. MySQL Index--Change Buffer

    Change Buffer功能 当执行INSERT/DELETE/UPDATE三类DML操作需要修改二级索引上数据时,如果需要修改的二级索引页未存在于当前Buffer Pool中,可以先将该" ...

  5. MySQL Lock--MySQL INSERT加锁学习

    准备测试数据: ## 开启InnoDB Monitor SET GLOBAL innodb_status_output=ON; SET GLOBAL innodb_status_output_lock ...

  6. 小米8seroot后更改hosts文件记录

    1.先备份原有文件,在设置中有个备份与恢复,可以备份,备份后链接电脑,传电脑上 2.下载开发版miui,安装 3.解bl锁,先到官网申请,按照提示操作. 4.备份文件传到手机,恢复文件 5.获得roo ...

  7. 使用opencv去操作树莓派摄像头保存图片和视频

    利用树莓派的摄像头去学习opencv的基本操作 —— 保存图片和视频 1.使用Opencv去控制树莓派的摄像头拍照并保存到本地,主要使用cv2和numpy库 #!/usr/bin/python3 # ...

  8. Mysql【第三课】

  9. 修改cloud image密码

    安装libguestfs-tools yum -y install libguestfs-tools.noarch 设置固定密码 virt-customize -a CentOS-7-x86_64-G ...

  10. Thinkphp下记录和统计时间（微秒）和内存使用情况

    * 记录和统计时间(微秒)和内存使用情况 * 使用方法: * <code> * G('begin'); // 记录开始标记位 * // ... 区间运行代码 * G('end'); // ...