说到Web爬虫，Python占了半壁江山。但是Web页面不是Python的强项了，如果需要扒取Web数据，再Mashup出来一个自己的系统，全端JS是个不错的解决方案（其实不用Python扒数据是因为我只能熟练掌握Python的HelloWorld编写）。

那么开始做了。

00.要做一只麻雀

想做一个五脏俱全的系统先设计一下结构吧。思路是要扒数据先要配置怎么扒，然后去把扒来的数据处理成想要的东西，再然后存起来慢慢蹂躏。来张UML活动图压压惊。数据CRUD和如何展现不在设计图中，这部分打算做一个类似于数据库可视化工具的东西，可配置好操作的Web页面。

01.来一桶万金油

JS函数也是对象，而且惊讶的发现MongoDB也可以存Function，这让我觉得把所有的逻辑抽象成配置是有可能实现的。设想一下，数据分析的逻辑如果存到数据库里，执行的时候一把抓出来，call或者apply一下，结果就出来了，岂不是很酷炫？然而鄙人对JS才疏学浅，只是设想，至于怎么做，慢慢来吧。

10.先夯地基

核心是数据，数据的灵活存储和展示是基础。见过的框架都是把ORM不是写在xml里就是写在代码里，但是如果存到DB里面会怎么样？如果存到DB作为元数据，对于不同的需求完全可以加一条元数据就OK，这个元数据标识这个数据结构的组成，展现方式，可在数据集上进行的操作等等，理论上可以满足任何CRUD的需求，可以实现无后端页面，新来一个需求，配一个元数据就好了。这部分打算先做，目前已经封好了一些数据接口，等做出这一部分再总结一下吧，到时候也敢把git地址放出来了。对于NodeJS实现无后端有志同道合的工程师欢迎来一起讨论，持续更新ing

使用NodeJS+AngularJS+MongoDB实现一个Web数据扒取-分析-展示的系统的更多相关文章

  1. 数据抓取分析（python + mongodb）

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: ...

  2. python数据抓取分析（python + mongodb）

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: ...

  3. 吴裕雄--天生自然python学习笔记：WEB数据抓取与分析

    Web 数据抓取技术具有非常巨大的应用需求及价值, 用 Python 在网页上收集数据,不仅抓取数据的操作简单, 而且其数据分析功能也十分强大. 通过 Python 的时lib 组件中的 urlpar ...

  4. 联系我们_鲲鹏Web数据抓取 - 专业Web数据采集服务提供者

    联系我们_鲲鹏Web数据抓取 - 专业Web数据采集服务提供者 首页 > 联系我们 我们的联系方式如下: 029 - 82542052(陕西 西安) 13389148466 或 13571845 ...

  5. [nodejs,expressjs,angularjs2] LOL英雄列表数据抓取及查询显示应用

    新手练习,尝试使用angularjs2 [angularjs2 数据绑定,监听数据变化自动修改相应dom值,非常方便好用,但与传统js(jquery)的使用方法会很不同,Dom操作也不太习惯] 应用效 ...

  6. [原创.数据可视化系列之十二]使用 nodejs通过async await建立同步数据抓取

    做数据分析和可视化工作,最重要的一点就是数据抓取工作,之前使用Java和python都做过简单的数据抓取,感觉用的很不顺手. 后来用nodejs发现非常不错,通过js就可以进行数据抓取工作,类似jqu ...

  7. 海量大数据大屏分析展示一步到位：DataWorks数据服务对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟 ...

  8. 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“ ...

  9. nodeJS+bootstarp+mongodb整一个TODO小例子

    又是一个简单的小玩意儿, 不过有个大玩意儿,就是nosql的mongodb(文件大小:130M),  你要下载一个mongdodb, 去官方网站下载 安装以后在mongodb的命令行目录下执行 mon ...

随机推荐

  1. C++STL学习笔记_(4)queue

    10.2.5Queue容器 Queue简介 ²  queue是队列容器,是一种"先进先出"的容器. ²  queue是简单地装饰deque容器而成为另外的一种容器. ²  #inc ...

  2. struts2 jsp表单提交后保留表单中输入框中的值 下拉框select与input

    原文地址:struts2 jsp表单提交后保留表单中输入框中的值 下拉框select与input jsp页面 1     function dosearch() {2         if ($(&q ...

  3. Ehcache(2.9.x) - API Developer Guide, Class Loading

    About Class Loading Class loading, within the plethora of environments that Ehcache can be running, ...

  4. 通过读取配置文件App.config来获取数据库连接字符串

    有两种方式://通过读取配置文件来获取连接字符串 第一种方式: App.config 文件的格式: <?xml version="1.0" encoding="ut ...

  5. html保留字符详解

    本文由 www.169it.com 搜集整理 1. 注释 HTML中的注释和其它语言注释作用相似,都是为了方便阅读和调试代码.当浏览器遇到注释时会自动忽略注释内容.HTML的注释格式多行和单行注释都用 ...

  6. UIViewSubviews多个views之间的关系

    #import "ViewController.h" @interface ViewController () @end @implementation ViewControlle ...

  7. 编辑器笔记——sublime text3 编译sass

    如已经安装sass 和 sass build两个插件到ST,command+b编译也没有问题,那么另外安装koala,在koala中引入你要编辑的sass,并把该sass文件设置为自动编译,那么用ST ...

  8. 分享我写的IOCP：源码+思路

    首先说明,下面的代码仅是一个IOCP的demo,很多地方的设计非常差,当然也有一些设计还算可以:).此篇仅供对IOCP有些了解但又不深入的.需要一个稍微完整示例的.对网络编程感兴趣的同学参考.点击这里 ...

  9. echo & print

    在实际使用中, print 和 echo 两者的功能几乎是完全一样.可以这么说,凡是有一个可以使用的地方,另一个也可以使用.但是,两者之间也还是一个非常重要的区别:在 echo 函数中,可以同时输出多 ...

  10. OpenCV和Matplotlib色彩空间模式不一致的问题

    当用OpenCV读取彩色图像时,OpenCV是以(BGR)的顺序存储图像数据的,而Matplotlib是以(RGB)的顺序显示图像的. 可以用下面的程序来证明这一点 import cv2 import ...