【史林枫：开源HtmlAgilityPack公共小类库封装 - 网页采集(爬虫)辅助解析利器【附源码+可视化工具推荐】】的更多相关文章

史林枫：开源HtmlAgilityPack公共小类库封装 - 网页采集(爬虫)辅助解析利器【附源码+可视化工具推荐】

做开发的,可能都做过信息采集相关的程序,史林枫也经常做一些数据采集或某些网站的业务办理自动化操作软件. 获取目标网页的信息很简单,使用网络编程,利用HttpWebResponse.HttpWebRequest和WebClient就可以了. 复杂的是获取网页内容后,需要对关键信息进行过滤,最初史林枫主要使用正则表达式来匹配目标数据. 这样的匹配也能达到目的,但对于不熟悉正则表达式的开发者或初学者就比较吃力了,尤其是比较复杂的正则. 最好要有专门的工具先测试,再把正则放到程序中测试.这里推荐Rege…

Python的开源人脸识别库：离线识别率高达99.38%（附源码）

Python的开源人脸识别库:离线识别率高达99.38%(附源码) 转https://cloud.tencent.com/developer/article/1359073   11.11 智慧上云 云服务器企业新用户优先购,享双11同等价格 立即抢购 在这篇文章中: 人脸识别的过程 人脸识别分类 DeepFace 1.DeepFace的基本框架 2. 验证 3. 实验评估 以往的人脸识别主要是包括人脸图像采集.人脸识别预处理.身份确认.身份查找等技术和系统.现在人脸识别已经慢慢延伸到了ADAS…

微信小程序版博客——开发汇总总结（附源码）

花了点时间陆陆续续,拼拼凑凑将我的小程序版博客搭建完了,这里做个简单的分享和总结. 整体效果 对于博客来说功能页面不是很多,且有些限制于后端服务(基于ghost博客提供的服务),相关样式可以参考截图或者直接访问我的小程序 一些体会 四月份的空余时间都在折腾自己的微信小程序版博客,作为后端开发的我鼓捣起前端的技术还是稍微有点吃力的,有些语法确实不太熟悉. 但总的来说还好,静下心来看看文档,熟悉下语法,实现一些功能的时候还是挺有成就感的. 对于小程序,基础的语法和API调用,我觉得腾讯的官方文档已经…

Java豆瓣电影爬虫——小爬虫成长记（附源码）

以前也用过爬虫,比如使用nutch爬取指定种子,基于爬到的数据做搜索,还大致看过一些源码.当然,nutch对于爬虫考虑的是十分全面和细致的.每当看到屏幕上唰唰过去的爬取到的网页信息以及处理信息的时候,总感觉这很黑科技.正好这次借助梳理Spring MVC的机会,想自己弄个小爬虫,简单没关系,有些小bug也无所谓,我需要的只是一个能针对某个种子网站能爬取我想要的信息就可以了.有Exception就去解决,可能是一些API使用不当,也可能是遇到了http请求状态异常,又或是数据库读写有问题,就是在这…

开源方案搭建可离线的精美矢量切片地图服务-8.mapbox 之sprite大图图标文件生成（附源码）

项目成果展示(所有项目文件都在阿里云的共享云虚拟主机上,访问地图可以会有点慢,请多多包涵). 01:中国地图:http://test.sharegis.cn/mapbox/html/3china.html 02:德国-德累斯顿市:http://test.sharegis.cn/mapbox/html/6germany.html 1.什么是sprite文件 sprite 文件主要是将一堆小图生成一种大图的方法,并且将每张小图的位置信息保存下来,方便读取.在网络请求中会减少请求的数量,mapbox借…

C#轻量级通通讯组件StriveEngine —— C/S通信开源demo(2) —— 使用二进制协议 （附源码）

前段时间,有几个研究ESFramework通信框架的朋友对我说,ESFramework有点庞大,对于他们目前的项目来说有点“杀鸡用牛刀”的意思,因为他们的项目不需要文件传送.不需要P2P.不存在好友关系.也不存在组广播.不需要服务器均衡.不需要跨服务器通信.甚至都不需要使用UserID,只要客户端能与服务端进行简单的稳定高效的通信就可以了.于是,他们建议我,整一个轻量级的C#通讯组件来满足类似他们这种项目的需求.我觉得这个建议是有道理的,于是,花了几天时间,我将ESFramework的内核抽离出…

微信小程序之蓝牙开发(详细读数据、写数据、附源码)

本文将详细介绍微信小程序的蓝牙开发流程(附源码)准备:微信只支持低功耗蓝牙也就是蓝牙4.0,普通的蓝牙模块是用不了的,一定要注意. 蓝牙可以连TTL接到电脑上,再用XCOM调试 一开始定义的变量 var deviceId;var i=0;var serviceId=[];var characteristicId=[]; 蓝牙开发流程:1.打开蓝牙适配器 2.搜索周围蓝牙 3.获取搜索过程中所搜索到的设备信息 4.连接想要连接的设备 5.获取服务.特征值 6.写数据.读数据 具体实现:1.打开蓝牙…

日志组件Log2Net的介绍和使用（附源码开源地址）

Log2Net是一个用于收集日志到数据库或文件的组件,支持.NET和.NetCore平台. 此组件自动收集系统的运行日志(服务器运行情况.在线人数等).异常日志.程序员还可以添加自定义日志. 该组件支持.NET平台和.NETCore平台,支持将日志写入到文本文件.SQL Server.Oracle.MySQL,可以方便地扩展到其他数据库. 针对这个组件的数据,相应地有日志查询网站,它查询日志数据库的数据(Log2Net组件存储的日志数据),显示各服务器/网站的实时数据图表显示,提供操作轨迹数据和…

自制小工具大大加速MySQL SQL语句优化(附源码)

引言 优化SQL,是DBA常见的工作之一.如何高效.快速地优化一条语句,是每个DBA经常要面对的一个问题.在日常的优化工作中,我发现有很多操作是在优化过程中必不可少的步骤.然而这些步骤重复性的执行,又会耗费DBA很多精力.于是萌发了自己编写小工具,提高优化效率的想法. 那选择何种语言来开发工具呢? 对于一名DBA来说,掌握一门语言配合自己的工作是非常必要的.相对于shell的简单.perl的飘逸,Python是一种严谨的高级语言.其具备上手快.语法简单.扩展丰富.跨平台等多种优点.很多人把它称为…

JS小游戏：贪吃蛇（附源码）

javascript小游戏:贪吃蛇 此小游戏采用的是面向对象的思想,将蛇,食物,和游戏引擎分为3个对象来写的. 为方便下载,我把js写在了html中, 源码中暂时没有注释,等有空我在添加点注释吧. 游戏玩法:直接打开html文件即可开始游戏,用键盘的上下左右键控制蛇的移动. 代码: <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>贪吃蛇</title…