使用tinyproxy进行ip代理
爬虫经常用到ip代理。解决方案无非几种:
1.网络上寻找一些免费代理,优点:免费不限量;缺点:可用性较低,验证费时间费资源。一些有免费代理的网站,西刺代理,站大爷,89免费代理等等,网上可以搜出一大堆。
2.购买代理ip,和找免费的差不多,一般有免费代理ip的网站基本都有收费的api。优点:可用性较高,较稳定。缺点:要钱。严格说,这个也不算缺点,要钱很多人也能接受,带来的方便还是很大程度的。
3.自己搭建ip代理,自己租服务器自己搭。优点:稳定,可控。缺点:麻烦,成本高。
暂时接触过的就这几种,不同的场景使用不同的方案。
目前有需要一个稳定ip,于是整一台服务器自己搭一下就可以。搭建代理也有很多种协议,工具,这里使用tinyproxy,简单方便。
安装配置流程:
一、首先安装tinyproxy
执行命令 yum -y install tinyproxy
找不到安装包的时候可以装一下epel。
安装 yum install epel-release
二、配置
编辑tinyproxy的配置文件
vi /etc/tinyproxy/tinyproxy.conf
1.更改端口,默认8888。可以更改为自己喜欢的端口,也可不修改,直接使用8888端口。

找到"Port"字样,修改紧跟其后的数字即可。
2.修改允许连接代理的ip。默认只允许本地。

找到"Allow"字样,修改其后的ip,如有多个,可写多个Allow。这里选择注释掉,允许所有ip连接。
3.开启服务
使用命令
service tinyproxy start 或
/bin/systemctl start tinyproxy.service
三、验证
多种验证方式
可以使用curl,在需要代理的机器上执行命令。
1.执行:
curl -x httpbin.org/get
返回:

2.执行:
curl ip.sb --proxy
返回

也可以使用其他验证方式,如浏览器使用此代理,访问获取本地ip的网站等。
若验证失败,可能是端口没开,使用iptables开放端口。
iptables -I INPUT -p tcp --dport -j ACCEPT
tinyproxy总结:
*tinyproxy对于IP代理来说满足了最基本的需求。
*资源消耗较小,配置简单。
*http,https均支持。
*这种代理方式是透明代理。
使用tinyproxy进行ip代理的更多相关文章
- 使用tinyproxy搭建http代理
		
一.前言 二.搭建环境 * Linux laptop 2.6.32-45-generic #100-Ubuntu SMP Wed Nov 14 10:41:11 UTC 2012 i686 GNU ...
 - python获取ip代理列表爬虫
		
最近练习写爬虫,本来爬几张mm图做测试,可是爬到几十张的时候就会返回403错误,这是被网站服务器发现了,把我给屏蔽了. 因此需要使用代理IP.为了方便以后使用,我打算先写一个自动爬取ip代理的爬虫,正 ...
 - 开源IP代理池续——整体重构
		
开源IP代理池 继上一篇开源项目IPProxys的使用之后,大家在github,我的公众号和博客上提出了很多建议.经过两周时间的努力,基本完成了开源IP代理池IPProxyPool的重构任务,业余时间 ...
 - 被IP代理网站屏蔽了,真是跪了
		
被IP代理网站http://www.xicidaili.com/nn/屏蔽了,真是跪了 T T
 - Linux IP代理筛选系统(shell+proxy)
		
代理的用途 其实,除了抓取国外网页需要用到IP代理外,还有很多场景会用到代理: 通过代理访问一些国外网站,绕过被某国防火墙过滤掉的网站 使用教育网的代理服务器,可以访问到大学或科研院所的内部网站资源 ...
 - 随机IP代理
		
第一个例子就设置了一个代理IP,也是不靠谱的,最好的方式就是多设置几个,如第二个例子,通过http://www.youdaili.net/Daili/你可以找到很多代理IP, 抓取国内网站时尽量选取中 ...
 - 记一次企业级爬虫系统升级改造(六):基于Redis实现免费的IP代理池
		
前言: 首先表示抱歉,春节后一直较忙,未及时更新该系列文章. 近期,由于监控的站源越来越多,就偶有站源做了反爬机制,造成我们的SupportYun系统小爬虫服务时常被封IP,不能进行数据采集. 这时候 ...
 - 爬取西刺ip代理池
		
好久没更新博客啦~,今天来更新一篇利用爬虫爬取西刺的代理池的小代码 先说下需求,我们都是用python写一段小代码去爬取自己所需要的信息,这是可取的,但是,有一些网站呢,对我们的网络爬虫做了一些限制, ...
 - scrapy_随机ip代理池
		
什么是ip代理? 我们电脑访问网站,其实是访问远程的服务器,通过ip地址识别是那个机器访问了服务器,服务器就知道数据该返回给哪台机器,我们生活中所用的网络是局域网,ip是运营商随机分配的,是一种直接访 ...
 
随机推荐
- Spring-Kafka —— KafkaListener禁止自启动
			
应用服务启动时,KafkaListener默认会自动启动进行消费,如果想不自动消费,可以设置AutoStartup属性值为false @Override @KafkaListener(id = Con ...
 - Swift3.0添加桥接文件
			
注意是在target下不是project !!!纠结了好久表示...... 都这里一直编译错误,找不到该桥接文件,这里也是纠结了好久......最后原因是不能使用下划线就可以了....<表示这是 ...
 - Java 连接Access
			
Java 连接Access 第一次使用连接Access数据库, 记录一下遇到的坑 Access驱动下载地址 http://pan.baidu.com/s/1o8ltTfc 不使用WINDOW的建立数据 ...
 - 如何申请阿里云免费SSL证书(可用于https网站)并下载下来
			
前提条件:你要有阿里云的账号,并且要有一个域名. 注意:阿里云系统也在不断更新,界面以后可能会有稍许变化,但是原理是相通的. 具体步骤: 1.登录到阿里云后台,并选择 “SSL证书(应用安全)” 菜单 ...
 - 面试总结  | 百度 NLP 实习生
			
1. 项目简历:主要体现和招聘要求相关的工作,简历要精简,不要给过多冗余信息.对于每个项目,自己做过的工作,里面用到的方法,要很清楚,工作的motivation.意义等也要清楚. 这次面试中我的问题: ...
 - HDU 1688 Sightseeing 【输出最短路+次短路条数】
			
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1688 题目大意:给n个点,m条有向边.再给出起点s, 终点t.求出s到t的最短路条数+次短路条数. 思 ...
 - [转帖]公钥基础设施(PKI)/CFSSL证书生成工具的使用
			
公钥基础设施(PKI)/CFSSL证书生成工具的使用 weilovepan520关注1人评论84344人阅读2018-05-26 12:22:20 https://blog.51cto.com/liu ...
 - 使用SecureCRT连接虚拟机中Linux系统 和 虚拟机网络配置
			
使用SecureCRT连接步骤:1.首先打开虚拟机,点击左上角的编辑,再点击虚拟网络编辑器(已经进行虚拟网络编辑的忽略此步骤,直接进行第二步) 点击VMnet8网络,点击更改设置,此步骤需要管理员权限 ...
 - hadoop(一HDFS)
			
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS :分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力) MapReduce : 分布式计算系统 Yar ...
 - springboot 论坛项目
			
项目演示地址:http://www.mawen.co/ 快速搭建sprintboot项目 运行第一个springboot项目 leaf package hello; import org.spring ...