webbrowser与httprequest结合

2024-11-05

c# WebBrower 与 HttpRequest配合抓取数据

今天研究一个功能,发现一个问题. 通过webbrower模拟用户自动登录可以完成,并且可以取到相对应的页面内容. 但是如果页面中通过ajax,动态加载的内容,这种方式是取不到的,于是用到了httpRequest get. 如果没有登录还好,有登录以后则需要进行验证. 但是web登录是别人做的,他们的认证机制并不清楚. 于是通过抓包工具,抓下来分析,发现认证sessionid是藏在httphead的cookie中. 于是在httprequest的时候,按照抓包的格式,进行httphead的复制,成

WebBrowser控件打开https站点

背景: 与上一篇博文一样,此文亦是由于开发DropboxAPI中遇到问题衍生出来的.由于需要重定向https类型网站,但自己的https证书是自签名的,总是提示'网站的安全证书存在问题'. 鉴此,查了些许资料,然而许多方法对我并没有什么卵用,不过以后还是可用用上的,故整理下[当然其中也有一些有效的方法] 首先,自己使用的是WPF中的WebBrowser 1.设置ServicePointmanager的验证回调,然而,这方法只能用于httprequest等托管代码中,webbrowser实现并不适

浏览器自动化的一些体会3 webBrowser控件之零碎问题

1. 一般需要执行这一句:webBrowser1.ScriptErrorsSuppressed = true; 主要目的是禁止跳出javascript错误的对话框,否则会导致程序无法正确地跑下去.缺点显然是某些真正的javascript错误被掩盖了.但是实践中觉得多数情况下,这一句是有必要的. 2. 解析dom webBrowser控件提供了一些解析dom的方法,如webBrowser1.Document.GetElementById().这些方法在处理某些结构较为复杂的dom时会显得不太方便,

c#如何判断webbrowser已经加载完毕

最近有个小程序需要采集网页源代码,但有的网页中JS脚本又会生成额外的代码,比如http://www.cnblogs.com/lidabo/p/4169396.html 红框部分便是另外加载的代码. 此处可以看到web前端是有 "操作系统" 几个字的,但查看网页源代码之后却搜不到这几个字 C#有个webbrowser控件可以等网页加载完之后获取浏览器上所有的网页源代码(也包括额外被JS加载进来的代码) [第一次]试验 WebBrowser webBrowser1 = new WebBro

【手记】WebBrowser响应页面中的blank开新窗口及window.close关闭本窗体

注:本文适用.net 2.0+的winform项目目的: 点击页面中的target="_blank"链接时,弹出新窗体页面中有window.close()操作时,关闭窗体上述窗体是指WebBrowser所在的Form,基本上,上述目的就是让该窗体表现得像个正常浏览器而已. 一.弹出新窗体 WebBrowser(下称wb)自带NewWindow事件,所以直接注册该事件即可: private void wb_NewWindow(object sender, CancelEventAr

WPF 开发 WebBrowser

WebBrowser WebBrowser 报错如何屏蔽 CEF(Chromium Embedded Framework) 参考 WPF, Chrome Embedded and WebApi Self-hosted介绍了WPF通过CEF调用WebAPI CEFSharp.WPF – Getting Started CefSharp.Tutorial 个人更喜欢这个Cef的.Net包装 WPF WebBrowser control flickers in ToolWindow whi

C# Webbrowser 常用方法及多线程调用

设置控件的值 /// <summary> /// 根据ID,NAME双重判断并设置值 /// </summary> /// <param name="tagName"></param> /// <param name="id"></param> /// <param name="value"></param> private void SetTxt(s

C#中的WebBrowser控件的使用

0.常用方法 Navigate(string urlString):浏览urlString表示的网址 Navigate(System.Uri url):浏览url表示的网址 Navigate(string urlString, string targetFrameName, byte[] postData, string additionalHeaders): 浏览urlString表示的网址,并发送postData中的消息 //(通常我们登录一个网站的时候就会把用户名和密码作为postDa

【总结】使用WebBrowser遇到的陷阱

一.前言一直想用WebBrowser做一些好玩的东西,比如抓取分析感兴趣的网站页面.自动点击提交页面等,所以最近在研究WebBrowser.WebBrowser的功能十分强大,就是一个微型的Browser,不过它也有自己的一些不足,为了下次避免再次出现这个坑,特在此总结一下. 二.故障描述本打算用WebBrowser做一个自助登录的小程序,来登录公司内部的系统(其实公司的登录系统形同虚设,无验证码),本以为万事俱备,只欠东风了,测试的时候才发现,压根儿没给我起作用,只是弹出了脚本错误提示.什

[C#]如何让webbrowser控件支持Html5

最近因为项目的需要,需要研究在C#winform窗体中加载网页,和弹出提醒,但我们的网站是HTML5的,ie浏览器内核不支持,而且因为根据客户机系统的不一致,加载的ie内核可能是不同,显示的效果也会不一致,在网上查询了大量的资料,途中遇到了很多的问题. 因为ie内核不支持html5,所以说得出的结论是webbrowser不能支持html5,但是我们可以用其他的内核.比如火狐的内核Gecko,或webkit内核,我从csdn上下载了版本为22的geckofx:地址:http://download.

.net学习笔记----HttpRequest,WebRequest,HttpWebRequest区别

WebRequest是一个虚类/基类,HttpWebRequest是WebRequest的具体实现 HttpRequest类的对象用于服务器端,获取客户端传来的请求的信息,包括HTTP报文传送过来的所有信息.而HttpWebRequest用于客户端,拼接请求的HTTP报文并发送等. http://www.cnblogs.com/kissdodog/archive/2013/04/06/3002779.html

Winform控件WebBrowser与JS脚本交互

1)在c#中调用js函数如果要传值,则可以定义object[]数组. 具体方法如下例子: 首先在js中定义被c#调用的方法: function Messageaa(message) { alert(message); } 在c#调用js方法Messageaa private void button1_Click(object sender, EventArgs e) { // 调用JavaScript的messageBox方法,并传入参数

C# webBrowser 开新窗口保持Session(转)

首先为项目添加引用 Microsoft Internet Controls public Form1() { InitializeComponent(); this.webBrowser1.AllowWebBrowserDrop = false; //可在属性里设置,很重要 //在新Form中的WebBrowser中打开 (this.webBrowser1.ActiveXInstance as SHDocVw.WebBrowser).NewWindow2 += new SHDocVw.DWebB

防刷票机制研究和.NET HttpRequest Proxy

最近应朋友之约测试他做的投票网站防刷票机制能力如何,下面有一些心得和体会. 朋友网站用PHP写的,走的是HttpRequest,他一开始认为IP认证应该就差不多了.但说实话这种很low,手动更换代理服务器手动刷都可以.但程序员的手就是程序,于是, 首先先百度到一些免费代理服务器,非常多网站分享这些.按一定格式来储存到TXT文件. 第二步使用Fiddler来进行截取消息,拿到其http request header和body: 第三步使用.NET HTTPREQUEST.逻辑是遍历代理t

wpf Webbrowser 乱码问题及弹窗被遮挡

wpf的webbrowser在使用NavigateToString(string text);方法时如果字符串含有中文字符,并在html的头文件中没有声明Document的编码方式为UTF-8的话,由于默认的编码方式的原因,导致中文显示为乱码.如需转码为可采用下面方法: /// <summary> /// webbrowser解决中文乱码问题 good /// </summary> /// <param name="HTML"></param&

webBrowser 加载网页

事件 webBrowser_DocumentCompleted private void webBrowser_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e) { if (webBrowser.ReadyState == WebBrowserReadyState.Complete && webBrowser.IsBusy == false) { //panelEx1.Text = "

【WP8】WebBrowser相关

2014年09月02日更新今天用了一下WebBrowser,在使用过程中也遇到了一些问题,在这里做一下记录虽然WebBrowser比较重,会比较影响性能(除非一定要用到它,否则尽量少用),但有时候还是得用WebBrowser来作为显示的控件,比如WP上有2048渲染的限制,我们可以通过WebBrowser来显示长文本,还有富文本信息(新闻)等,但使用起来也并不方便,这里做一下记录 1.禁止缩放 <head> <meta http-equiv="Content-Type&qu

关于WebBrowser访问百度地图

前段时间遇到一个困惑用WebBrowser访问百度地图的时候,百度会自动转至让下载sdk的页面,经过一个仁兄的点拨,可以改变WebBrowser的agent来骗过网站.经过试验成功.贴源码如下: string ua = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; .NET CLR 1.1.4322)"; Uri uri = new Uri("http://map.b

WebBrowser的Cookie操作之流量刷新机

最近一直在思考着如何通过代码去伪装或实现人工自然浏览网页的效果,起初能想到的是用WebBrowser实现这一效果,需要达到的功能预想有以下几点: 1.自动刷新 2.模拟人工下拉滚动条并停留一段时间: 3.可以刷IP.刷流量: 4.可以增加任意来访域名: 5.自动随机点击站内页面: 6.自动随机点击站内广告: 7.自动清除Cookie.Session: 8.能够模拟搜索引擎搜索关键字并点击到指点页面: 一.WebBrowser中获取Cookie生成CookieContainer 1.在WebBro

delphi WebBrowser控件上网页验证码图片识别教程(一)

步骤一:获取网页中验证码图片的url地址在delphi中加入一个BitBtn和一个memo以及WebBrowser控件实现网页中验证码图片的url地址的获取程序如下:procedure TForm1.BitBtn1Click(Sender: TObject); var I:Integer; begin for I:=0 to WebBrowser1.OleObject.document.images.length-1 do Memo1.Lines.Add(WebBrowser

<总结>delphi WebBrowser控件的使用中出现的bug

Delphi WebBrowser控件的使用中出现的bug: 1.WebBrowser.Visible=false:Visible属性不能使WebBrowser控件不可见,暂时用 WebBrowser.Hide的方法代替,WebBrowser.Hide隐藏浏览器, WebBrowser.Show显示浏览器: 补充:WebBrowser的OnVisible事件控制窗口的可见或隐藏,用法同上(经测试Visual属性改变时不会激发) 上述补充参考原网址: http://www.tu

webbrowser与httprequest结合

热门专题