/**$html = curl_get_file_contents($url);

$title = get_title_contents($html);

var_dump($title);*/

function curl_get_file_contents($url,$referer='') {

	static $curl_loops = 0;//避免死了循环必备

	static $curl_max_loops = 3;

	$useragent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36";

	$ch = curl_init();

	curl_setopt($ch,CURLOPT_URL,$url);

	curl_setopt($ch,CURLOPT_HEADER,true);

	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //不验证证书

	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //不验证证书

	curl_setopt($ch,CURLOPT_USERAGENT,$useragent);

	curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);

	curl_setopt($ch,CURLOPT_REFERER,$referer);

	$data = curl_exec($ch);

	$ret = $data;

	list($header,$data) = explode("\r\n\r\n",$data,2);

	$http_code = curl_getinfo($ch,CURLINFO_HTTP_CODE);

	$last_url = curl_getinfo($ch,CURLINFO_EFFECTIVE_URL);

	curl_close($ch);

	if ($http_code == 301 || $http_code == 302) {

		$matches = array();

		preg_match('/Location:(.*?)\n/',$header,$matches);

		$url = @parse_url(trim(array_pop($matches)));

		if (!$url) {

			return $data;

		}

		$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query']) ? '?' . $url['query'] : '');

		if ($curl_loops++ >= $curl_max_loops) {

			return false;

		}else {

			$new_url = stripslashes($new_url);

			return curl_get_file_contents($new_url);

		}

	} else {

		list($header,$data) = explode("\r\n\r\n",$ret,2);

		return $data;

	}

}

function get_title_contents($html){

	// 解析 HTML 的 <head> 区段

//	<meta http-equiv="Content-type" content="text/html; charset=utf-8" />

//	<meta content="text/html; charset=gb2312" http-equiv="Content-Type">

	preg_match("/<head.*>(.*)<\/head>/smUi",$html, $htmlHeaders);

	//var_dump($output);die();

	if(!count($htmlHeaders)){

		$title = "无法解析数据中的 <head> 区段";

	}

// 取得 <head> 中 meta 设置的编码格式<meta charset="gb2312">

	if(preg_match('/<meta.*charset=(("){0,1}[a-zA-Z0-9-]*("){0,1})/',$htmlHeaders[1], $results)){

		$charset =  $results[1];

	}else{

		$charset = "None";

	}

	$charset = str_replace('"','',$charset);

// 取得 <title> 中的文字

	if(preg_match("/<title>(.*)<\/title>/Ui",$htmlHeaders[1], $htmlTitles)){

		if(!count($htmlTitles)){

			$title = "无法解析 <title> 的内容";

			exit;

		}

		// 将  <title> 的文字编码格式转成 UTF-8

		if($charset == "None"){

			$title=$htmlTitles[1];

		}else{

			$title=iconv($charset, "UTF-8", $htmlTitles[1]);

		}

	}

	return html_entity_decode($title);

}

　　支持https，302跳转

php利用curl获取网页title内容的更多相关文章

  1. selenium常用的API（三）获取网页title、html源码

    获取网页title 获取页面title的方法可以直接用driver.title获取到,然后可以把获取到的结果用做断言. #encoding=utf-8 from selenium import web ...

  2. c#利用HttpWebRequest获取网页源代码

    c#利用HttpWebRequest获取网页源代码,搞了好几天终于解决了,直接获取网站编码进行数据读取,再也不用担心乱码了! 命名空间:Using System.Net private static ...

  3. Python获取网页指定内容(BeautifulSoup工具的使用方法)

    Python用做数据处理还是相当不错的,如果你想要做爬虫,Python是很好的选择,它有很多已经写好的类包,只要调用,即可完成很多复杂的功能,此文中所有的功能都是基于BeautifulSoup这个包. ...

  4. curl获取远程文件内容

    curl获取远程文件内容 ** 获取远程文件内容 @param $url 文件http地址 * function fopen_url($url) { if (function_exists(& ...

  5. telnet建立http连接获取网页HTML内容

    利用telnet可以与服务器建立http连接,获取网页,实现浏览器的功能.它对于需要对http header进行观察和测试到时候非常方便.因为浏览器看不到http header. 步骤如下: 1. 运 ...

  6. 黄聪：C#获取网页HTML内容的三种方式

    C#通常有三种方法获取网页内容,使用WebClient.WebBrowser或者HttpWebRequest/HttpWebResponse. 方法一:使用WebClient static void ...

  7. linux下利用curl监控网页shell脚本

    #!/bin/bash smail() {mail -s "$1" gjw_apparitor@gmail.com <<EOF$1$2====report time: ...

  8. java 获取网页指定内容

    import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; ...

  9. python3 利用正则获取网页中的想保存下来的内容

    需要获取某个网页中表格部分中某个产品的成份 分析在html中成份的元素代码 <a href="/composition/4c3060178d1184935a48c4e51be4f63f ...

随机推荐

  1. 移动端web开发技巧（转）

    原文链接:http://liujinkai.com/2015/06/06/mobile-web-skill/ 移动端web开发技巧 这是一个最好的时代,因为我们站在潮流中:但也是一个最坏的时代,因为我 ...

  2. Change-free CodeForces - 767E (贪心)

    题目链接 大意:Arseny有m个1元硬币, 无限多100元钞票, 他要按顺序买n个东西, 第i天如果找零x个硬币, 他的不满值会加 w[i]*x, 求最少不满值. 若找零, 则硬币增加 100-ci ...

  3. Mac百度云盘不限速操作步骤

    第一步:下载所需工具:(①②步我放在同一个文件夹,可一起下载,链接失效请留言) 工具地址:链接: https://pan.baidu.com/s/1raicYzM 密码: ve3n ①下载Aria2G ...

  4. LeetCode 22. Generate Parentheses（构造）

    题目大意:给n个'(' 和 ')',构造出所有的长度为2*n并且有效的(可匹配的)字符串. 题目分析:这道题不难,可以直接搜索出所有可能的字符串,然后再逐一判断是否合法即可.但是还有更好的办法,实际上 ...

  5. UVA-11149 Power of Matrix（矩阵二分幂）

    题目大意:给一个n阶方阵,求A1+A2+A3+......Ak. 题目分析:令F(k)=A1+A2+A3+......Ak.当k为偶数时,F(k)=F(k/2)*(E+Ak/2),k为奇数时,F(k) ...

  6. Oracle 小函数的使用

    1.Oracle 正则表达式 经常会有一种需求是查询某个字符在字符串中的数量,可以使用正则表达式regexp_count函数 比如 SELECT regexp_count('0,1,1',',') f ...

  7. hulu

    一. 一开始因为没收到含有共享文档链接的邮件,所以简单自我介绍,聊了几句项目.问了: 1. 玩嗨如果数据库结构变化要怎么办 2. 哈佛项目是否为官方渠道 一直没收到邮件,面试官读网址给我,进到共享文档 ...

  8. spring boot 学习(十二)拦截器实现IP黑名单

    拦截器实现IP黑名单 前言 最近一直在搞 Hexo+GithubPage 搭建个人博客,所以没怎么进行 SpringBoot 的学习.所以今天就将上次的”?秒防刷新”进行了一番修改.上次是采用注解加拦 ...

  9. PHP:第一章——PHP中的goto语句和

    goto语句: <?php header("Content-Type:text/html;charset=utf-8"); /*goto语句:可以代替break*/ //例1 ...

  10. POJ 2488 DFS

    DES:给一个n行m列的棋盘.马以L型走.问能否从某一位置开始走完棋盘上的每个位置.若能继续输出字典序最小的一条路径. 很典型的dfs.搜的时候就按照字典序从小到大的顺序.搜到第一条路径时停止搜索输出 ...