ShoppingPeeker

这个项目是蜘蛛项目的可视化任务站点。

项目github地址:ShoppingPeeker

开发语言:C#

开发工具:Visual Studio 2017 +.Net Core2.1

运行平台:Linux/Windows

# 概述 ShoppingPeeker 是项目:ShoppingWebCrawler的可视化任务工具。

项目使用.net core2.x进行构建。可以运行在Windwos/Linux/Mac平台。

项目采用Socket通信模式,实现本地采集任务与蜘蛛服务器进行通信。稳定高效。

如何部署?

1、克隆ShoppingWebCrawler项目到本地。如:d:\src\ShoppingWebCrawler;

2、克隆ShoppingPeeker项目到本地。d:\src\ShoppingPeeker;

(注意:两个项目必须在同一个目录下,因为使用了文件编译引用!!!!)

3、启动蜘蛛 ShoppingWebCrawler。

4、使用visual studio 2017   或者cmd/powershell 进入项目文件夹   使用命令:dotnet build;dotnet run

5、恭喜,项目成功启动,示范站点的输入框,是一个根据输入的商品词,抓取对应电商平台的商品列表的功能示范!

项目构成

ShoppingPeeker.Web: .net core 2.x asp.net mvc 站点 插件模式: 不同的电商平台使用插件模式进行采集任务的解析。在站点启动的时候,扫描插件目录。对插件进行附加,并监视查询的变更!

数据持久化

基于Dapper的数据交互DataAccess.封装对Linq 方式,实现对原始表数据的 增删改查操作。

TCP 进行蜘蛛通信示范

封装TCP通信,基于ADP.NET的连接方式,上手简单容易,可配置。

基本通信:

var connStr = ConfigHelper.WebCrawlerSection.ConnectionStringCollection.First();

            using (var conn = new SoapTcpConnection(connStr))
{
if (conn.State == ConnectionState.Closed)
{
conn.Open();
} ///发送ping var str = conn.SendString(CommandConstants.CMD_Ping);
resut = string.Concat("time :", DateTime.Now.ToString(), "; tcp server response: ", str);
}

采集请求:

var connStrConfig = webArgs.SystemAttachParas["SoapTcpConnectionString"] as WebCrawlerConnection;

                    //重写解析地址-首页的分片jsonp地址
string urlOfSlicedJsonp = this.ResolveSlicedSearchPageSilcedUrl(webArgs, next_start, show_items);
webArgs.ResolvedUrl = new ResolvedSearchUrlWithParas { Url = urlOfSlicedJsonp };
using (var conn = new SoapTcpConnection(connStrConfig))
{
if (conn.State == ConnectionState.Closed)
{
conn.Open();
} //发送soap
var soapCmd = new SoapMessage() { Head = CommandConstants.CMD_FetchPage };
soapCmd.Body = JsonConvert.SerializeObject(webArgs);
var dataContainer = conn.SendSoapMessage(soapCmd);
if (null != dataContainer && dataContainer.Status == )
{
htmlItemsContent = dataContainer.Result;
}
else
{
StringBuilder errMsg = new StringBuilder("抓取网页请求失败!参数:");
errMsg.Append(soapCmd.Body);
if (null != dataContainer && !string.IsNullOrEmpty(dataContainer.ErrorMsg))
{
errMsg.Append(";服务端错误消息:")
.Append(dataContainer.ErrorMsg);
}
PluginContext.Logger.Error(errMsg.ToString());
}
}

数据交互示范

///

/// 增加 ///[TestMethod()] public void AddOneStudentsModelTest() {

        var model = new StudentsModel
{ Name = "你猜猜-" + DateTime.Now.ToString(),
Age = DateTime.Now.Second,
Sex = true,
Score = 55.98m,
Longitude = 555555.6666,
AddTime = DateTime.Now
}; var result = serviceOfStudents.AddOneStudentsModel(model); var watch = new System.Diagnostics.Stopwatch();
watch.Start(); model = new StudentsModel
{ Name = "你猜222222222猜-" + DateTime.Now.ToString(),
Age = DateTime.Now.Second,
Sex = true,
Score =6655.98m,
Longitude = ,
AddTime = DateTime.Now
}; result = serviceOfStudents.AddOneStudentsModel(model); watch.Stop(); Console.WriteLine(string.Format("real for insert one data use time is :{0} ms.", watch.ElapsedMilliseconds)); Assert.IsTrue(result > );
} /// <summary>
/// 批量增加
/// </summary> [TestMethod()]
public void AddMulitiStudentsModelsTest()
{
var lstData = new List<StudentsModel>();
var rand = new Random(DateTime.Now.Millisecond); for (int i = ; i < ; i++)
{
var model = new StudentsModel
{
Name = "你猜猜-" + Guid.NewGuid().ToString(),
Age = rand.Next(, ),
Sex = false,
Score = 33355.98m,
Longitude = ,
AddTime = DateTime.Now
};
lstData.Add(model);
}
var result = serviceOfStudents.AddMulitiStudentsModels(lstData);
Assert.IsTrue( == ); } /// <summary>
/// 更新数据实体-by主键
/// </summary> [TestMethod()]
public void UpdateOneStudentsModelTest()
{
var model = new StudentsModel
{
Id = ,
Age =
}; var result = serviceOfStudents.UpdateOneStudentsModel(model);
Assert.IsTrue(result);
} /// <summary>
/// 条件更新
/// 多个条件 and
///
/// </summary> [TestMethod()]
public void UpdateStudentsModelsByConditionTest()
{
var model = new StudentsModel
{
Age =
};
var result = serviceOfStudents.UpdateStudentsModelsByCondition(
model,
x => x.Id > && x.Name.Contains("你猜猜%")); Assert.IsTrue(result); } /// </summary>
[TestMethod()]
public void GetstudentsElementByIdTest()
{ var model = this.serviceOfStudents
.GetstudentsElementById(); Assert.IsTrue(null!= model); } /// <summary>
/// 条件获取
/// 或 /// </summary>
[TestMethod()]
public void GetfStudentsElementsByConditionTest()
{ var lstData = this.serviceOfStudents
.GetstudentsElementsByCondition(
x => x.Id == || x.Name.Contains("你猜猜%")
);//(x => x.PubSubWsAddr.LenFuncInSql() > 0); Assert.IsTrue(lstData.Count > ); lstData = this.serviceOfStudents
.GetstudentsElementsByCondition(null); Assert.IsTrue(lstData.Count > );
}
/// <summary>
/// 条件删除
/// </summary>
[TestMethod()]
public void DeleteMulitiservicesAddressByConditionTest()
{
//var result = this.serviceOfStudents
// .DeleteMulitiservicesAddressByCondition(x => x.PubSubWsAddr.LenFuncInSql() > 0); var result = this.serviceOfStudents
.DeleteMulitistudentsByCondition(
x => x.Id == || x.Name.Contains("你猜猜%")
);
Assert.IsTrue(result);
} //多个查询条件构建 (使用Lambda表达式构建 进行条件body的合并) [TestMethod()]
public void GetByMultipleConditionsTest()
{
//组合条件
var predicate = PredicateBuilder.CreatNew<StudentsModel>(); string id = "";
if (!string.IsNullOrEmpty(id) && id.ToInt() > )
{
predicate = predicate.And(s => s.Id <= id.ToInt());
} //开始组合表达式body
predicate = predicate.Or(s => s.Name.Contains("你猜猜-2%")); var model = this.serviceOfStudents.GetstudentsElementsByCondition(predicate); Assert.IsNotNull(model); } [TestMethod()]
public void GetStudentsModelsElementsByPagerAndConditionTest()
{
var pageSize = ;
var pageIndex = ;
var totalRecords = -;
var totalPages = -; var lstData = this.serviceOfStudents
.GetstudentsElementsByPagerAndCondition(pageIndex,
pageSize,
out totalRecords,
out totalPages, x => x.Id > ,//PubSubWsAddr.LenFuncInSql()
"Id",
OrderRule.DESC);
Assert.IsTrue(lstData.Count > ); }

联系作者

MyBlog:http://www.cnblogs.com/micro-chen/ 
QQ:1021776019

【ShoppingPeeker】-基于Webkit内核的爬虫蜘蛛引擎 ShoppingWebCrawler的姊妹篇-可视化任务Web管理的更多相关文章

  1. 【ShoppingWebCrawler】-基于Webkit内核的爬虫蜘蛛引擎概述

    写在开头 在各个电商平台发展日渐成熟的今天.很多时候,我们需要一些平台上的基础数据.比如:商品分类,分类下的商品详细,甚至业务订单数据.电商平台大多数提供了相应的业务接口.允许ISV接入,用来扩展自身 ...

  2. Webkit内核开源爬虫蜘蛛引擎

    C#开发的基于Webkit内核开源爬虫蜘蛛引擎 https://www.cnblogs.com/micro-chen/p/9075590.html 概述 在各个电商平台发展日渐成熟的今天.很多时候,我 ...

  3. 浅谈关于QT中Webkit内核浏览器

    关于QT中Webkit内核浏览器是本文要介绍的内容,主要是来学习QT中webkit中浏览器的使用.提起WebKit,大家自然而然地想到浏览器.作为浏览器内部的主要构件,WebKit的主要工作是渲染.给 ...

  4. [WebKit内核] JavaScript引擎深度解析--基础篇(一)字节码生成及语法树的构建详情分析

    [WebKit内核] JavaScript引擎深度解析--基础篇(一)字节码生成及语法树的构建详情分析 标签: webkit内核JavaScriptCore 2015-03-26 23:26 2285 ...

  5. 将webkit内核封装为duilib的浏览器控件

    转载请说明出处,谢谢~~ 原本的duilib是自带浏览器控件的,但是使用了IE内核,我在做仿酷狗音乐播放器时,在右侧乐库要用到浏览器控件,而我使用自带的IE控件却发现了不少缺点,这也是duilib一直 ...

  6. 八大Webkit内核浏览器

    列举出时下最流行的Webkit内核浏览器,所以我们并不会做出评测和对比.PS:本文列举的浏览器有一部分为IE+Webkit双核浏览器,如果您对其他IE内核浏览器很感兴趣<抛弃数据!用体验和感觉告 ...

  7. 【WebKit内核 CEF3 】 第一篇:下载分支代码并本地编译

    关于CEF  Chromium Embedded Framework 简单说就是  WebKit内核的 对外绑定. 当前主流浏览器内核 一.Trident内核代表产品Internet Explorer ...

  8. WebKit内核分析之Page

    参考地址:http://blog.csdn.net/dlmu2001/article/details/6213377 注:本系列博客是在原博主博客基础上增加了自己的理解和片段,可以看源博文获得清晰的结 ...

  9. iOS:WebKit内核框架的应用与解析

    原文:http://www.cnblogs.com/fengmin/p/5737355.html 一.摘要: WebKit是iOS8之后引入的专门负责处理网页视图的框架,其比UIWebView更加强大 ...

随机推荐

  1. 《LINQ技术详解C#》-2.查询表达式翻译为标准查询操作符

    (1)透明标识符 有些翻译步骤要使用透明标识符(*)插入枚举变量. 透明标识符只在翻译过程中存在,翻译结束将不再出现. (2)翻译步骤 ①带有into连续语句的Select和Group语句 from. ...

  2. HDU 3980 (SG 环变成链 之前的先手变成后手)

    题意 两个人在一个由 n 个玻璃珠组成的一个圆环上玩涂色游戏,游戏的规则是: 1.每人一轮,每轮选择一个长度为 m 的连续的.没有涂过色的玻璃珠串涂色 2.不能涂色的那个人输掉游戏 Aekdycoin ...

  3. canvas放射粒子效果

    这个也是别人的代码,就不多介绍了 写了些注释 body { overflow:hidden; margin:0; padding:0; background-color:#222222 } </ ...

  4. Codeforces Round #437 (Div. 2, based on MemSQL Start[c]UP 3.0 - Round 2)

    Problem A Between the Offices 水题,水一水. #include<bits/stdc++.h> using namespace std; int n; ]; i ...

  5. 021 使用join()将数组转变为字符串

    1.定义用用法 join() 方法用于把数组中的所有元素放入一个字符串. 元素是通过指定的分隔符进行分隔的. 语法 arrayObject.join(separator) 返回值 返回一个字符串.该字 ...

  6. hdu 1251:统计难题[【trie树】||【map】

    <题目链接> 统计难题                        Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 131 ...

  7. c# 深入探索之CLR

    概念: CLR : 公共语言运行时(Common Language Runtime) 是一个可由多种编程语言使用的"运行时",它负责资源管理(内存分配和垃圾收集等),并保证应用和底 ...

  8. 一段让自己好好理解reduce的代码

    const pick = (obj, arr) => arr.reduce((acc, curr) => (curr in obj && (acc[curr] = obj[ ...

  9. BZOJ.2437.[NOI2011]兔兔与蛋蛋游戏(二分图博弈 匈牙利)

    题目链接 首先空格的移动等价于棋子在黑白格交替移动(设起点移向白格就是黑色),且不会走到到起点距离为奇数的黑格.到起点距离为偶数的白格(删掉就行了),且不会重复走一个格子. (然后策略就同上题了,只不 ...

  10. 洛谷.2219.[HAOI2007]修筑绿化带(单调队列)

    题目链接 洛谷 COGS.24 对于大的矩阵可以枚举:对于小的矩阵,需要在满足条件的区域求一个矩形和的最小值 预处理S2[i][j]表示以(i,j)为右下角的C\(*\)D的矩阵和, 然后对于求矩形区 ...