C语言获取网页源代码的学习所得
研究了一天这个玩意感觉挺有意思的。
刚开始是什么都不懂,现在写出来一段代码感觉略微有点意思了。
下面我分享一下学习过程和自己的理解。
整体过程大概就是如下情况:
先搜了一下别人的写这个东西的代码。
研究了一下代码中一些难理解的东西。慢慢就写出来了。
简单分析:
创建一个socket套接字连接主机
发送GET报文头字符串
接收
存放
准备工作:
connect()和服务器建立连接
send() recv() 都是在利用套接字
用户提供一个网址,我们分析网址。
网址中包含的信息 有些是要填入sockaddr地址信息中 ,有些是要填入GET报头文
我们能得知信息有 主机名 资源路径 端口
例如一个 www.baidu.com/1.html 主机名www.baidu.com 资源路径 /1.html 端口没有 就 默认 80
建立连接 connect()函数搞定
参数中需要socket 和 sockaddr 前者就是套接字,后者是一个套接字地址结构
可以从sockaddr_in 强制转化过来 这个是另一种套接字地址结构体
需要提供 端口和 ip地址
端口 我们分析网址就能得到
ip地址 是用gethostbyname()这个函数搞定
函数名就挺形象的 通过主机名字获得host信息
意思就是 从 www.baidu.com 主机名 获得host信息
然后我们从信息里面把ip地址提取出来
GET报文头 需要主机名 资源路径 这两样网址中都提供了
发送 send()这个函数搞定
接收 recv()这个函数搞定
细分逻辑:
主要是学习这些函数以及结构的过程,和一些简单的逻辑组织。
分析网址 这个都在string.h
从host结构中获得ip地址填入套接字地址结构 这个查阅一下gethostbyname()和sockaddr以及sockaddr_in
连接connect()
存放GET报文头,把报文头用字符串函数组建起来,放在数组或者其他。。
发送send()
如果你发送的GET报文头得到了回应,目标就会传送你要的信息回来
接收recv()
信息可能很多,可能不能一次性接收完,分多次。用memcpy()和malloc()以及realloc()
memcpy() copy字节数到目标 malloc()声明一定大小的内存区域 realloc()改变内存区域大小
什么时候接收完 如果套接字中有接收的内容就一直接收。没有就等待,直到超时,然后返回0.
这个超时时间限定是可以设置的。setsockopt()这个函数。可以设置接收和发送
int nNetTimeout = 5000;
setsockopt(sock, SOL_SOCKET, SO_RCVTIMEO, (char *)&nNetTimeout, sizeof(int));
遗留问题的思考:对于接收到数据处理。编码问题。我觉得套接字中传输的是数据,不是字符串。
正文这个我觉得倒是好理解,有人用utf8写了一个html网页文件保存在服务器,我们所获取的正文应该是这个用utf8编码写的数据 (我猜的)
但是接收到的报文头是什么编码呢,我们用什么简单的方法把它们分离,没有去研究。。有机会再看看
C语言获取网页源代码的学习所得的更多相关文章
- Java 网络爬虫获取网页源代码原理及实现
Java 网络爬虫获取网页源代码原理及实现 1.网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成.传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL ...
- php查看网页源代码的方法
这篇文章主要介绍了php查看网页源代码的方法,涉及php读取网页文件的技巧,具有一定参考借鉴价值,需要的朋友可以参考下 本文实例讲述了php查看网页源代码的方法.分享给大家供大家参考.具体实现 ...
- c#利用WebClient和WebRequest获取网页源代码的比较
前几天举例分析了用asp+xmlhttp获取网页源代码的方法,但c#中一般是可以利用WebClient类和WebRequest类获取网页源代码.下面分别说明这两种方法的实现. WebClient类获取 ...
- delphi 获取网页源代码
//获取网页源代码 var s: string; begin s := WebBrowser1.OleObject.document.body.innerHTML; //body内的所有代码 ...
- JS远程获取网页源代码的例子
js代码获取网页源代码. 代码: <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> < ...
- 如何在ios手机端的Safari浏览器 中“查看网页源代码”
在这里给大家分享一个很简单的用苹果手机无需越狱就可以查看网页源代码的方法,不过这个方法只用于苹果手机自带的Safari浏览器 随便添加一个safari 书签 (用于一会改为查看源码功能书签)进入书签 ...
- c#利用WebClient和WebRequest获取网页源代码
C#中一般是可以利用WebClient类和WebRequest类获取网页源代码.下面分别说明这两种方法的实现. WebClient类获取网页源代码 WebClient类 WebClient ...
- c#利用HttpWebRequest获取网页源代码
c#利用HttpWebRequest获取网页源代码,搞了好几天终于解决了,直接获取网站编码进行数据读取,再也不用担心乱码了! 命名空间:Using System.Net private static ...
- C#用正则表达式 获取网页源代码标签的属性或值
1.有url获取到网页源代码: using System.Web; using System.IO; using System.Net; private void GetHtmlinfo(string ...
随机推荐
- js中replace的用法【转】
1.replace方法的语法是:stringObj.replace(rgExp, replaceText) 其中stringObj是字符串(string),reExp可以是正则表达式对象(RegExp ...
- JSONP与JSON的关系
这篇文章<说说JSON和JSONP,也许你会豁然开朗>写得非常棒,推荐一下 http://kb.cnblogs.com/page/139725/ (大神,对不起,我记录一下,因为你写的真得 ...
- linux下 cmatrix的安装和使用
安装过程 wget http://www.asty.org/cmatrix/dist/cmatrix-1.2a.tar.gztar xvf cmatrix-1.2a.tar.gzcd cmatrix- ...
- 给jdk写注释系列之jdk1.6容器(6)-HashSet源码解析&Map迭代器
今天的主角是HashSet,Set是什么东东,当然也是一种java容器了. 现在再看到Hash心底里有没有会心一笑呢,这里不再赘述hash的概念原理等一大堆东西了(不懂得需要先回去看下Has ...
- 关于解决form表单记录上次保存填写记录清空
传进来的是一个HTML的Table的ID. function doReset(tableId){ var tbl_content = document.getElementById(tableId); ...
- 24小时学通Linux内核之内存管理方式
昨天分析的进程的代码让自己还在头昏目眩,脑子中这几天都是关于Linux内核的,对于自己出现的一些问题我会继续改正,希望和大家好好分享,共同进步.今天将会讲诉Linux如何追踪和管理用户空间进程的可用内 ...
- 【推公式】UVa 10995 - Educational Journey
1A~,但后来看人家的代码好像又写臭了,T^T... Problem A: Educational journey The University of Calgary team qualified f ...
- 今天用css做了一个QQ登录页面
<!doctype html> <html> <head> <meta charset="utf-8"> <title> ...
- 【Ionic】---AngularJS扩展基本布局
目录: 标题栏 : ion-header-bar 页脚栏 : ion-footer-bar header/footer : 样式及内容 内容区 : ion-content 滚动框 : ion-scro ...
- 面试之SQL(1)--选出选课数量>=2的学号
ID Course 1 AA 1 BB 2 AA 2 BB 2 CC 3 AA 3 BB 3 CC 3 DD 4 AA NULL NULL 选出选课数量>=2的学号 selectdis ...