项目简介

  • 前端站点 项目效果预览 http://findcl.com
  • 使用 nodejs 实现磁力链接爬虫 磁力链接解析成 torrent种子信息，保存到数据库，利用 Elasticsearch 实现中文检索。koa2 搭建磁力链接搜索引擎
  • 源码地址 https://github.com/ssstk/findcl
  • 后端脚本 磁力链接获取 磁力链接解析 入库 Mongodb 定时同步 Elasticsearch
  • 源码地址 https://github.com/ssstk/mang...
  • 此项目仅用学习交流技术使用 不做商业用途。

上线

  • 2018-06-01 网站正式上线。暂时想不到什么名字 各位大大可以推荐下哦。域名是 http://findcl.com ，
  • 两台 VPS （都是某些云做活动买的 配置低）
  • 第一台部署了 FindCl 站点本身（ koa2、nginx ）和单个节点的 Elasticsearch
  • 第二台部署了磁力链接爬虫 hashinfo 解析 入库 Mongodb
  • Mongodb 数据库在套路云（目前有 300W 数据库，每日新收录 3W+的数据）

项目依赖

  • Mongodb
  • mongoose
  • Elasticsearch
  • nginx
  • koa2
  • vue
  • DHT BT 资源爬虫 磁力链接解析 manget2torrent
  • crontab 定时执行 Mongodb 与 Elasticsearch 的数据同步
  • ...

存在的问题

manget2torrent

  • 依赖的 dhtspider 爬虫 长时间使用一个端口的时，由于 P2P 网络的特性，越来越多的节点来访问 会导致带宽跑满（其主要是活动买的云主机 1M 的），如果活力全开不做闲置 大概稳定在 10M 左右。解决方案就是 每次采集 5000 条不重复的磁力 hashindo 就暂停爬虫，取解析获取信息。等小于 1000 条时候，再随机端口开启服务。
  • 解析磁力链接缓慢且成功率很低， 失败的大概在 3 成左右且需要好几秒

其他

有其他问题请新建issue交流。

本文转载于:猿2048nodejs 实现 磁力链接资源搜索 BT磁力链接爬虫

nodejs 实现 磁力链接资源搜索 BT磁力链接爬虫的更多相关文章

  1. LZZ磁力资源搜索4.2.2，整合多个站点，大部分资源都能搜到

    资源搜索 4.2.2.20200310网友提出的功能已完成1:新增 时间日期排序,单击表头或右键菜单选择,即可自动排序2:新增 搜索完毕 音效开启或关闭 选项3:资源站点 Sunyaa 由聚合站点改为 ...

  2. 最全BT磁力搜索引擎索引（整理分享，不断更新...）

    最全BT磁力搜索引擎索引(整理分享,不断更新...) btkitty:http://cnbtkitty.com/(知名的BT磁力搜索,资源很多) idope.se:https://idope.se/( ...

  3. 最全BT磁力搜索引擎索引（整理分享，每日更新）

    btaa.xyz:http://www.veee.xyz/(可以访问,知名的BT磁力搜索,资源多,建议手机访问) 以下无法访问 idope.se:https://idope.se/(无法访问,资源丰富 ...

  4. 最全BT磁力搜索引擎，国外最受欢迎的BT-磁力网站（整理分享，每日不断更新...）

    最全BT磁力搜索引擎索引(整理分享,每日更新) 1.海盗湾 The Pirate Bay 2.磁力天堂(BT磁力搜索下载-磁力天堂) www.btaa.xyz  (资源多,下载速度可以,建议用手机访问 ...

  5. 开源BT磁力搜索引擎收集

    基本是利用bt网络中p2p技术实现,开源项目上实现了dht网络的搜索.是学习dht算法的好项目. https://lanmaowz.com/open-dht-spider/ https://githu ...

  6. 一个支持种子、磁力、迅雷下载和磁力搜索的APP源代码

    磁力搜索网站2020/01/12更新 https://www.cnblogs.com/cilisousuo/p/12099547.html 一个支持种子.磁力.迅雷下载和磁力搜索的APP源代码 Lic ...

  7. 用ubuntu下载电影：磁力链接，torrent，迅雷链接

    用ubuntu下载电影:磁力链接,torrent,迅雷链接 操作系统:Ubuntu 14.04 64位 需要软件:Ktorent, Amule 安装软件: sudo apt-get install k ...

  8. Ubuntu下载磁力链接，torrent，迅雷链接

    用ubuntu下载电影:磁力链接,torrent,迅雷链接 需要软件:Ktorent, Amule 安装软件: sudo apt-get install ktorrent sudo apt-get i ...

  9. 文档资源搜索小工具 - 支持PDF,DOC,PPT,XLS

    最近做了一个文档搜索小工具,当然不是网盘搜索工具,这个工具支持四种文件格式搜索(pdf,doc,ppt,xls),你只需要在搜索框中输入你想要搜索资源的关键词,点击搜索按钮即可获取相关资源,点击下载按 ...

随机推荐

  1. YUV相关积累

    关于yuv 格式-Semi Planar和Planar https://www.cnblogs.com/welen/articles/5454315.html

  2. python3中collections模块(转)

    https://www.cnblogs.com/zhangxinqi/p/7921941.html

  3. （第二章第二部分）TensorFlow框架之读取图片数据

    系列博客链接: (第二章第一部分)TensorFlow框架之文件读取流程:https://www.cnblogs.com/kongweisi/p/11050302.html 本文概述: 目标 说明图片 ...

  4. 前端好用API之getBoundingClientRect

    前情 在前端开发需求中,经常需要获取元素的尺寸位置相关的属性,以往的做法是调用不同api获取相关属性的. getBoundingClientRect介绍 getBoundingClientRect() ...

  5. 字符串格式化String.Format

    //给变量赋值字符串00002 string s = String.Format( "{0:d5}", 2);

  6. 我完成了10000小时开发3D引擎

    为什么要开始10000小时? 我以前看过一本叫<异类>的书,书的大概意思是:只要学习10000小时,任何人都可以成为一个领域的大师.这里的"学习"是指完全专注地精进学习 ...

  7. Kubernetes上安装Metrics-Server

    操作场景 metrics-server 可实现 Kubernetes 的 Resource Metrics API(metrics.k8s.io),通过此 API 可以查询 Pod 与 Node 的部 ...

  8. MySQL 导入数据时　2006-MySQLserver has gone away

    MySQL 2006-MySQLserver has gone away MySQL 2006-MySQLserver has gone away 方式一(验证无误): 找到 mysql安装目录下的m ...

  9. 31 面向对象编程 接口 普通类：只有具体实现 声明类的关键字是class，声明接口关键字是interface 接口的作用

    接口 概念 普通类:只有具体实现 抽象类:具体实现和规范(抽象方法)都有! 接口:只有规范!自己无法写方法!专业的约束!约束和实现分离:面向接口编程~ 接口就是规范,定义的是一组规则,体现了现实世界中 ...

  10. Hibernate学习笔记(一)-->数据库单表操作

    Hibernate框架是一个全ORM映射框架,是一个非常流行的数据库操作框架之一,现在比较流行的还有MyBatis半ORM映射框架 在MyEclipse IDE开发工具中,可以很轻松的搭建Hibern ...