在利用PHP进行数据采集的过程中,通常会遇到IP被屏蔽或出现验证码的情况;为了能够继续采集,我们需要切换不同的ip,每访问一次,随机切换一个IP。当然也可以通过收集大量代理,通过切换代理的方式进行采集,原理大抵相似。
       因为本人在实际工作中遇到这种情况,刚好发生的场景在美国站群的服务器,上面有已经绑定了200多个ip(这种服务器1300元一月),因此可以轻松的利用socket_bind()函数进行出口ip的绑定,只需要随机抽取一个IP进行绑定就可以。
           在C#中同样可以通过Socket.Bind()函数进行ip的绑定,以此切换服务器中不同ip进行采集!

<?php
//输出内容
echo Getdata("http://www.baidu.com/s?wd=ip"); //Getdata()采集函数
function Getdata($url){
//随机ip
require_once('D:\fang360_100dir\datas\Iplist.php');
$ip = $ip_arr[rand(0,count($ip_arr)-1)]; //host post path
$arr = parse_url($url);
$path=$arr['path']?$arr['path']:"/";
$host=$arr['host'];
$port=isset($arr['port'])?$arr['port']:80;
if ( $arr['query'] ){
$path .= "?".$arr['query'];
} // Create a new socket
$sockHttp = socket_create(AF_INET, SOCK_STREAM, SOL_TCP);
if (!$sockHttp){
echo "socket_create() failed: reason: " .socket_strerror(socket_last_error()) . "\n";
} // Bind the source address
if (socket_bind($sockHttp, $ip) === false) {
echo "socket_bind() failed: reason: " .socket_strerror(socket_last_error($sockHttp)) . "\n";
} // Connect to destination address
$resSockHttp = socket_connect($sockHttp, $host, $port);
if (!$resSockHttp){
echo 'socket_connect() failed!';
} $user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:24.0) Gecko/20100101 xttest/24.0";
$cookie = '';
$timeout = 25;
$out = "GET {$path} HTTP/1.0\r\n";
$out .= "Host: {$host}\r\n";
$out .= "User-Agent: {$user_agent}\r\n";
$out .= "Accept: */*\r\n";
$out .= "Accept-Language: zh-cn\r\n";
$out .= "Accept-Encoding: identity\r\n";
$out .= "Referer: {$url}\r\n";
$out .= "Cookie: {$cookie}\r\n";
$out .= "Connection: Close\r\n\r\n"; // Write
socket_write($sockHttp, $out,strlen($out)); $httpCode = substr(socket_read($sockHttp, 13),9,3); $data ='';
while ($sRead = socket_read($sockHttp, 4096)){
$data .= $sRead;
}
// Close
socket_close($sockHttp); if (preg_match("#Content-Type:([^\r\n]*)#i", $data, $matches) && trim($matches[1]) != '')
{
$content_type_array = explode(';', $matches[1]);
$ContentType = strtolower(trim($content_type_array[0]));
}
else
{
$ContentType = 'text/html';
} header("Content-type: $ContentType");
$data=preg_replace("/^[^<]*?\r\n\r\n/","",$data); if($httpCode>=400){
$data = "Request Error";
} return $data;
} ?>

PHP利用socket_bind函数切换IP地址采集数据的更多相关文章

  1. 利用mysql的inet_aton()和inet_ntoa()函数存储IP地址的方法

    原文:https://www.jb51.net/article/29962.htm 当前很多应用都适用字符串char(15)来存储IP地址(占用16个字节),利用inet_aton()和inet_nt ...

  2. 巧用批处理cmd快速切换IP地址

    如果你的笔记本经常在不同的地方使用,有些地方需要自动获取IP,而有些地方需要配置固定IP,每换一个地方都需要重新配置一遍,是不是感觉很麻烦呢? 下面介绍一种通过建立批处理文件来快速切换IP的方法: s ...

  3. 嵌入式开发之函数解析---ip地址2进制转字符inet_ntoa 调用中只生效一次

    inet_addr()   简述:将一个点间隔地址转换成一个in_addr. #include <winsock.h> unsigned long PASCAL FAR inet_addr ...

  4. 利用netsh命令设置IP地址/DNS服务器地址

    一.设置IP地址 1. 自动获取IP地址: netsh interface ip set address [name=]"本地连接" [source=]dhcp 2. 手动设置IP ...

  5. 利用Shell命令获取IP地址

    一 :获取单个网卡的IPv4地址,方法如下: 方法一:$/sbin/ifconfig ethX | awk '/inet addr/ {print $2}' | cut -f2 -d ":& ...

  6. 利用jsonp调用外部ip地址池

    <html lang="en"> <head> <meta charset="UTF-8"> <title>Do ...

  7. MySQL内置函数:IP地址点分式与数字转换函数(INET_ATON/INET_NTOA)

    前后转换,相比代码内部在进行移位简单太多了 SELECT INET_ATON('209.207.224.40'); SELECT INET_NTOA('578950');

  8. jsp页面获取服务器Ip地址等数据

    废话不多说,直接上代码 <%@ page language="java" import="java.util.*" pageEncoding=" ...

  9. 利用Linode面板Clone克隆搬家迁移不同VPS数据及利用IP Swap迁移IP地址

    在众多海外VPS服务商中,老蒋个人认为Linode提供的VPS方案和性价比还是比较高的,尤其目前基础1GB方案仅需10美元每月且全部是SSD固态硬盘,无论是流量还是硬盘大小,基本上可以满足我们大部分用 ...

随机推荐

  1. AllJoyn Bundled Daemon 使用方式研究

    关于AllJoyn不多做介绍,请看官网:www.alljoyn.org/ 0. 问题来源: 应用程序要使用AllJoyn库,就必须启动deamon. 目前有两种方式: 使用standalone形式,单 ...

  2. c++ 设计模式4 (Strategy)

    3.2 Strategy (策略模式) 动机:在软件构建过程中,某些对象使用的算法可能多种多样,经常改变,如果将这些算法都编码到对象中,将会使对象变得异常复杂,而且有时候支持不使用或不常使用的算法也是 ...

  3. 3.2html学习笔记之图片

    <img src="" width="50%" alt="加载时候或无法显示时候显示的文字" height="让浏览器预先给 ...

  4. .net中的多线程

    一.多线程的概念        什么是进程呢?当一个程序开始运行时,它就是一个进程,进程所指包括运行中的程序和程序所使用到的内存和系统资源.而一个进程又是由多个线程所组成的,线程是程序中的一个执行流, ...

  5. WPF 之 线程使用

    但凡涉及到图形界面,往往的设计都是不支持或者不推荐使用多个线程操作界面内容.而且通常会有一个专门的线程调度器来处理任务线程和界面线程的问题. 下面提供两个方案: 1.使用Dispatcher.Begi ...

  6. AliasRegistry接口

    Spring - 4.2.3 // 将一个name注册为一个别名aliasvoid registerAlias(String name, String alias);// 移除一个别名aliasvoi ...

  7. bigDecimal 使用小结

    关于四舍五入: 
ROUND_HALF_UP: 遇到.5的情况时往上近似,例: 1.5 ->;2 
ROUND_HALF_DOWN : 遇到.5的情况时往下近似,例: 1.5 ->;1 注 ...

  8. nodejs的mysql模块学习(五)数据库连接配置之SSL

    SSL选项 在SSL连接选项中需要一个字符串 或者对象 当是字符串的时候 将使用预定义的SSL配置文件 "Amazon RDS" 只有这一个预定义配置文件 用来连接到亚马逊RDS服 ...

  9. Android 高级UI设计笔记19:PopupWindow使用详解

    1. PopupWindow使用 PopupWindow这个类用来实现一个弹出框,可以使用任意布局的View作为其内容,这个弹出框是悬浮在当前activity之上的. 2. PopupWindow使用 ...

  10. android系统启动时自动运行自己的程序

    android系统在Manifest.permission中有这样一条RECEIVE_BOOT_COMPLETED的定义,当你自己的程序加 入这个权限后,就可以在系统启动完毕后收到一条系统的广播,这个 ...