1.ES是如何实现分布式高并发全文检索 2.简单介绍ES分片Shards分片技术 3.为什么ES主分片对应的备分片不在同一台节点存放 4.索引的主分片定义好后为什么不能做修改 5.ES如何实现高可用容错方案 6.搭建Linux上环境三台ES高可用集群环境 7.基于ES网盘搜索引擎实现 网盘搜索引擎,写个Job 去网上爬虫 存储起来  以JSON的格式 存放在 ES服务器 网盘搜索引擎的原理: 采用ES存储抓取的数据 抓取服务器 测试数据: ##先创建索引 PUT /clouddisk ##测试数…

标题起的太大了,都是骗人的.最近使用PHP实现了简单的网盘搜索程序,并且关联了微信公众平台.用户可以通过公众号输入关键字,公众号会返回相应的网盘下载地址.就是这么一个简单的功能,类似很多的网盘搜索类网站,我这个采集和搜索程序都是PHP实现的,全文和分词搜索部分使用到了开源软件xunsearch,现在就来介绍一下实现过程. 1. 获取一批网盘用户 2. 根据网盘用户获取分享列表 3. xunsearch实现全文检索和分词检索 4. 微信公众平台接口开发 功能展示: 获取并采集百度网盘用户 要想获取…

BaiduDiskSearcher 用C#编写的百度网盘搜索工具(.NET4.0 & Visual Studio 2017) 功能 1.搜索任意名称的百度网盘共享文件 2.可以左键双击打开网盘地址或右键点击弹出上下文菜单来打开.复制网盘地址及打开.复制分享者主页: 3.可以导出搜索结果. 界面 源代码: https://github.com/cnxy/BaiduDiskSearcher 注: 1.软件代码为原创,如需转载,请注明出处: 2.部分软件样式参考“小熊吉米”的博客园博文(百度网盘共享搜…

最近学习C#编程,在网上发现一篇winform下制作百度网盘搜索器的文章,故而下载源码学习一二.无奈原博所用的网址失效,故而自己改写了网址和相关源代码,也进行了实现.因为初学,接触的知识较多,为免忘记,进行整理复习. 1.知识点: 思路:主要是利用HttpWebRequest,HttpWebResponse进行http模拟请求,然后利用HtmlAgilityPack+XPath语法对html dom进行元素获取,将截取到的相关内容在datagridview中展示,最后利用process.star…

推荐一个百度网盘搜索工具 http://www.sososo.me…

突然有一天就想说能不能用某种方法把百度网盘上分享的资源连接抓取下来,于是就动手了.知乎上有人说过最好的方法就是http://pan.baidu.com/wap抓取,一看果然链接后面的uk值是一串数字,就想到能够自己拼装链接,循环不断的去抽取页面.于是自己分析了下页面结构,就開始了        从一開始写的时候,发现一秒钟就抽取了一个页面,想到之前用的webmagic爬虫里抓取页面就用了java的多线程技术,于是百度...直接上代码.(抓取过程中发现好多无效资源,垃圾资源,广告资源特别多,所以慢…

百度网盘爬虫 现在市面上出现了很多网盘搜索引擎,写这系列博文及爬虫程序的初衷: 更方面的查找资源 学习C# 学习爬虫的设计与实现 记录学习历程 自我监督 能力有限,如有不妥之处,还请各位看官点评.同在学习的网友~与君共勉. 工具/库选择 mysql5.6 (习惯使然,sqlserver比较庞大,个人使用起来不是很习惯,后期可能改为sqlserver) HttpWebRequest.HttpWebResponse.JSON.NET库 vs2015, .NET4.5 PS:介绍以上是权当做个备忘录/…

猫宁!!! 参考链接:https://mp.weixin.qq.com/s/PLELMu8cVleOLlwRAAYPVg 百度网盘在中国一家独大,百度超级会员具有很多特权,尤其是在下载速度上,是普通会员和非会员无法比拟的,价格也比较贵,1年298元,1个季度86元,1个月30元. 作为国内最大的网盘提供商,用户数亿,从诞生之日起至今,用户分享的网盘链接可能百亿计,永久性无提取码链接也不在少数. 如下,分享分为有无提取码,默认有提取码,有效期分为永久/7天/1天,默认永久,当然,这是2019年的产…

尽力2~3周发布一个版本,我这次也没有失言.这段时间内,我仿照QQ的微云功能,在GG中增加了网盘的功能,而且,我还自创了一个QQ没有的新的功能:远程磁盘.正如远程桌面一样,远程磁盘允许我们像访问本地磁盘一样来访问在线的其它用户的磁盘. 一.GG V2.0 新增功能展现 (1)网盘:在服务端为每个用户分配一个网盘,用户通过客户端可以访问自己的网盘.就像QQ的微云一样. (2)远程磁盘:任何一个在线用户,都可以访问其它在线用户的磁盘(先要经过对方的同意). (3)无论是网盘.还是远程磁盘,都支持:上…

网盘系统2.0   上周,我做了第一版的“私人网盘系统”,http://www.cnblogs.com/sunlizheng/p/7822036.html 没看过的朋友可以去看一下,这周在家升级做了第二版,算是升级版,相比较第一版增加了图片上传功能,以及美观度的改变,和一些小bug的修复,也感谢上次有几个朋友在评论里留言提的意见,也欢迎朋友们,对这次的更新提出宝贵的意见,下次继续更新~~~废话不多说来吧~~~ 末尾附仓库地址~     登录页面   上周因为第一版偷懒直接用以前用bootstra…