由于爬虫过于频繁访问某一个网站而被禁ip,只因为贪恋一时爽快而忘记了使用代理,这大概是大多数爬虫初学者遇到的问题吧.但是有一些网站不只是爬虫需要访问,人也是需要访问的.这时候就需要使用代理服务器来访问了.然而我现在手头没有一个可用的代理池,却有一台云服务器.决定在云服务器上搭建代理. 用Golang写起来非常方便,一个字:爽. package main import ( "net/http" log "github.com/Sirupsen/logrus" &quo…

一.简介 禁止访问网站可以通过多种方式实现,在网络设备上实现大概是性能最好的方式.本文在域服务器上实现该功能,优点是配置简单.可自定义跳转页面,缺点也很明显,遇到熟悉操作系统的用户,修改hosts文件可轻松破解. IIS:Web服务器,显示禁止访问的页面. 域组策略:用户登陆时自动执行脚本,将共享出来的hosts文件复制来本地. hosts:禁止访问网站的列表,原理是将网站域名重定向到某个IP地址,这里重定向到Web服务器. 二.配置 IIS配置过程略 index.html页面代码 <!DOCT…

项目背景:公司商务同事需要操作合作方的后台,但是这个后台做了限制(安全考虑只对指定IP放行),刚好公司是adsl拨号,经常更换IP 需求:让商务同事不要经常给IP到合作方去添加白名单 于是想到了做正向代理代理的方法,关于正向代理和反向代理的区别后面有说明,该场景适合用正向代理 具体操作:两种方案:方案1将一台固定外网ip的windows系统添加到客户网站白名单,开通一个远程账号给商务同事,让他通过远程桌面操作合作方的后台 方案2:将我们的一台linux服务器做成代理服务器IP添加到合作方的白名单…

private void button1_Click(object sender, EventArgs e) { string str ="http://www.7y8.com/V/ip.asp"; MessageBox.Show("访问的IP地址是:"+getIPAddr(GetResponseStr(str))); } //使用代理访问 private string GetResponseStr(string str) { HttpWebRequest requ…

今天在使用burp的时候发现不能访问https网站了,Google下面还出现这个 ERR_SSL_VERSION_OR_CIPHER_MISMATCH,于是到官网下载了一个最新的burp就可以访问了,突然不能访问估计是https证书版本升级了的问题.…

go中私有代理搭建 前言 为什么选择 athens 使用 docker-compose 部署 配置私有仓库的认证信息 配置下载模式 部署 使用秘钥的方式认证私有仓库 1.配置秘钥 2.配置 HTTP 与 SSH 重写规则 3.配置 SSH 来绕过主机 SSH 键验证 参考 go中私有代理搭建 前言 最近公司的代理出现问题了,刚好借这个机会来学习下,athens 如何构建私有代理 为什么选择 athens 私有化代理的选取标准无非就是下面的几点 1.托管私有模块: 2.排除对公有模块的访问: 3.…

目录: 一.Thrift1和Thrift2的简要介绍 1) 写在前面 2) Thrift1和Thrift2的区别  二.Thrift0.9.2的安装 1) 安装依赖插件 2) Thrift0.9.2的编译  3) Thrift0.9.2编译后,配置成可执行文件 三.Hbase0.96.2的安装 1) Hbase的介绍 2) Hbase的安装 3) Hbase基于源码的Thrift生成接口文件 四.PHP和Golang使用Thrift1和Thrift2访问Hbase 1) PHP基于Thrift1…

背景 最近App似乎有报异常是DNS无法解析,尝试解决此问题.搜集到的资料很少,甚至连AFN原作者都判定这可能是一个无解的问题,参见: https://github.com/AFNetworking/AFNetworking/issues/2954,不过最终还是靠着stackoverflow上的一丁点提示,顺利找到并汇集成了一个可用的解决方案.大喜,与君共享! 问题描述 通过IP直接访问网站,可以解决DNS劫持问题.DNS劫持,可以通过修改电脑的host文件模拟.如果是HTTP请求,使用ip地址…

问题背景 最近工作上有开发爬虫的任务,对目标网站数据进行抓取,由于大部分网站都在国外,无法直接访问,需要通过代理才能登录.爬虫部署的服务器在香港,所以爬虫部署到服务器后,是可以访问目标网站的,但本地开发调试程序时,需要通过代理才能访问. 这篇文章就带大家了解一下如何在Java程序中使用代理访问网络. 解决方案 你需要一个代理服务器,和一个可以连接到此服务器的客户端. 花点银子买一个稳定的账号,或者自己搭建一个. 这里我使用自己搭建的 Shadowsocks 代理服务器,使用 Shadowsock…

正向代理的概念 正向代理,也就是传说中的代理,他的工作原理就像一个跳板,简单的说,我是一个用户,我访问不了某网站,但是我能访问一个代理服务器这个代理服务器呢,他能访问那个我不能访问的网站于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容代理服务器去取回来,然后返回给我 从网站的角度,只在代理服务器来取内容的时候有一次记录有时候并不知道是用户的请求,也隐藏了用户的资料,这取决于代理告不告诉网站 结 论就是 正向代理 是一个位于客户端和原始服务器(origin server)之间的服务器,为…