说到Web爬虫，Python占了半壁江山。但是Web页面不是Python的强项了，如果需要扒取Web数据，再Mashup出来一个自己的系统，全端JS是个不错的解决方案（其实不用Python扒数据是因为我只能熟练掌握Python的HelloWorld编写）。

那么开始做了。

00.要做一只麻雀

想做一个五脏俱全的系统先设计一下结构吧。思路是要扒数据先要配置怎么扒，然后去把扒来的数据处理成想要的东西，再然后存起来慢慢蹂躏。来张UML活动图压压惊。数据CRUD和如何展现不在设计图中，这部分打算做一个类似于数据库可视化工具的东西，可配置好操作的Web页面。

01.来一桶万金油

JS函数也是对象，而且惊讶的发现MongoDB也可以存Function，这让我觉得把所有的逻辑抽象成配置是有可能实现的。设想一下，数据分析的逻辑如果存到数据库里，执行的时候一把抓出来，call或者apply一下，结果就出来了，岂不是很酷炫？然而鄙人对JS才疏学浅，只是设想，至于怎么做，慢慢来吧。

10.先夯地基

核心是数据，数据的灵活存储和展示是基础。见过的框架都是把ORM不是写在xml里就是写在代码里，但是如果存到DB里面会怎么样？如果存到DB作为元数据，对于不同的需求完全可以加一条元数据就OK，这个元数据标识这个数据结构的组成，展现方式，可在数据集上进行的操作等等，理论上可以满足任何CRUD的需求，可以实现无后端页面，新来一个需求，配一个元数据就好了。这部分打算先做，目前已经封好了一些数据接口，等做出这一部分再总结一下吧，到时候也敢把git地址放出来了。对于NodeJS实现无后端有志同道合的工程师欢迎来一起讨论，持续更新ing

使用NodeJS+AngularJS+MongoDB实现一个Web数据扒取-分析-展示的系统的更多相关文章

  1. 数据抓取分析（python + mongodb）

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: ...

  2. python数据抓取分析（python + mongodb）

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: ...

  3. 吴裕雄--天生自然python学习笔记：WEB数据抓取与分析

    Web 数据抓取技术具有非常巨大的应用需求及价值, 用 Python 在网页上收集数据,不仅抓取数据的操作简单, 而且其数据分析功能也十分强大. 通过 Python 的时lib 组件中的 urlpar ...

  4. 联系我们_鲲鹏Web数据抓取 - 专业Web数据采集服务提供者

    联系我们_鲲鹏Web数据抓取 - 专业Web数据采集服务提供者 首页 > 联系我们 我们的联系方式如下: 029 - 82542052(陕西 西安) 13389148466 或 13571845 ...

  5. [nodejs,expressjs,angularjs2] LOL英雄列表数据抓取及查询显示应用

    新手练习,尝试使用angularjs2 [angularjs2 数据绑定,监听数据变化自动修改相应dom值,非常方便好用,但与传统js(jquery)的使用方法会很不同,Dom操作也不太习惯] 应用效 ...

  6. [原创.数据可视化系列之十二]使用 nodejs通过async await建立同步数据抓取

    做数据分析和可视化工作,最重要的一点就是数据抓取工作,之前使用Java和python都做过简单的数据抓取,感觉用的很不顺手. 后来用nodejs发现非常不错,通过js就可以进行数据抓取工作,类似jqu ...

  7. 海量大数据大屏分析展示一步到位：DataWorks数据服务对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟 ...

  8. 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“ ...

  9. nodeJS+bootstarp+mongodb整一个TODO小例子

    又是一个简单的小玩意儿, 不过有个大玩意儿,就是nosql的mongodb(文件大小:130M),  你要下载一个mongdodb, 去官方网站下载 安装以后在mongodb的命令行目录下执行 mon ...

随机推荐

  1. memcached和redis的区别和应用场景

    一:特性和对比 1.性能上:      性能上都很出色,具体到细节,由于Redis只使用单核,而Memcached可以使用多核,所以平均每一个核上Redis在存储小数据时比 Memcached性能更高 ...

  2. 单击改变input的边框颜色

    input边框变色   今天布局页面的时候发现设计稿多了一项要求,就是点击input框的时候要求框框变色,以前没有遇到过,平时很多时候都用的:hover这次想着一样吧,看了之后发现不是想要的效果,ho ...

  3. Ehcache(2.9.x) - API Developer Guide, Cache Usage Patterns

    There are several common access patterns when using a cache. Ehcache supports the following patterns ...

  4. CSS之边框属性

    border-style 属性用于设置元素所有边框的样式,或者单独地为各边设置边框样式. border-style:dotted solid double dashed; border-style的属 ...

  5. SQL Server查看表信息

    1. sp_spaceused 计算数据和索引使用的磁盘空间量以及当前数据库中的表所使用的磁盘空间量.如果没有给定 objname,sp_spaceused 则报告整个当前数据库所使用的空间. 语法 ...

  6. Oracle学习第二天---Profile的使用

    环境:Oracle 11g 一.权限的传递 1.如果传递的是对象权限,就在后面加入with grant option: eg:system用户有张temp的表,只想usertest用户拥有查询的权限, ...

  7. [转] Portable Trac 简单介绍 - 兼谈为什么不选择 Redmine

    Portable Trac 简单介绍 - 兼谈为什么不选择 Redmine ​Trac是一个轻量级的软件项目管理环境,如果在工作中涉及一个开发团队的管理并且关心项目管理工具的话,相信都在 ​Trac. ...

  8. d3 之deal with data

    之前说慢慢写有关D3的笔记,结果做完那个拓扑图就没写了,今天发现关于d3的用法有点遗忘.感觉有回顾一遍的必要. 之前的序对D3有一个简单的介绍,下面就做一些细节的东西.主要是贴代码,顺带注释和效果图. ...

  9. Xcode更改配色方案

    更改配色方案:Xcode > PReferences > Fonts & Color /********************************************** ...

  10. C# CRC32

    using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threa ...