说到Web爬虫，Python占了半壁江山。但是Web页面不是Python的强项了，如果需要扒取Web数据，再Mashup出来一个自己的系统，全端JS是个不错的解决方案（其实不用Python扒数据是因为我只能熟练掌握Python的HelloWorld编写）。

那么开始做了。

00.要做一只麻雀

想做一个五脏俱全的系统先设计一下结构吧。思路是要扒数据先要配置怎么扒，然后去把扒来的数据处理成想要的东西，再然后存起来慢慢蹂躏。来张UML活动图压压惊。数据CRUD和如何展现不在设计图中，这部分打算做一个类似于数据库可视化工具的东西，可配置好操作的Web页面。

01.来一桶万金油

JS函数也是对象，而且惊讶的发现MongoDB也可以存Function，这让我觉得把所有的逻辑抽象成配置是有可能实现的。设想一下，数据分析的逻辑如果存到数据库里，执行的时候一把抓出来，call或者apply一下，结果就出来了，岂不是很酷炫？然而鄙人对JS才疏学浅，只是设想，至于怎么做，慢慢来吧。

10.先夯地基

核心是数据，数据的灵活存储和展示是基础。见过的框架都是把ORM不是写在xml里就是写在代码里，但是如果存到DB里面会怎么样？如果存到DB作为元数据，对于不同的需求完全可以加一条元数据就OK，这个元数据标识这个数据结构的组成，展现方式，可在数据集上进行的操作等等，理论上可以满足任何CRUD的需求，可以实现无后端页面，新来一个需求，配一个元数据就好了。这部分打算先做，目前已经封好了一些数据接口，等做出这一部分再总结一下吧，到时候也敢把git地址放出来了。对于NodeJS实现无后端有志同道合的工程师欢迎来一起讨论，持续更新ing

使用NodeJS+AngularJS+MongoDB实现一个Web数据扒取-分析-展示的系统的更多相关文章

  1. 数据抓取分析（python + mongodb）

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: ...

  2. python数据抓取分析（python + mongodb）

    分享点干货!!! Python数据抓取分析 编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: ...

  3. 吴裕雄--天生自然python学习笔记：WEB数据抓取与分析

    Web 数据抓取技术具有非常巨大的应用需求及价值, 用 Python 在网页上收集数据,不仅抓取数据的操作简单, 而且其数据分析功能也十分强大. 通过 Python 的时lib 组件中的 urlpar ...

  4. 联系我们_鲲鹏Web数据抓取 - 专业Web数据采集服务提供者

    联系我们_鲲鹏Web数据抓取 - 专业Web数据采集服务提供者 首页 > 联系我们 我们的联系方式如下: 029 - 82542052(陕西 西安) 13389148466 或 13571845 ...

  5. [nodejs,expressjs,angularjs2] LOL英雄列表数据抓取及查询显示应用

    新手练习,尝试使用angularjs2 [angularjs2 数据绑定,监听数据变化自动修改相应dom值,非常方便好用,但与传统js(jquery)的使用方法会很不同,Dom操作也不太习惯] 应用效 ...

  6. [原创.数据可视化系列之十二]使用 nodejs通过async await建立同步数据抓取

    做数据分析和可视化工作,最重要的一点就是数据抓取工作,之前使用Java和python都做过简单的数据抓取,感觉用的很不顺手. 后来用nodejs发现非常不错,通过js就可以进行数据抓取工作,类似jqu ...

  7. 海量大数据大屏分析展示一步到位：DataWorks数据服务对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟 ...

  8. 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

    1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“ ...

  9. nodeJS+bootstarp+mongodb整一个TODO小例子

    又是一个简单的小玩意儿, 不过有个大玩意儿,就是nosql的mongodb(文件大小:130M),  你要下载一个mongdodb, 去官方网站下载 安装以后在mongodb的命令行目录下执行 mon ...

随机推荐

  1. Delphi2009下编译提示“无法找到“Excel_TLB”

    这是没有安装Excel组件导致的,安装Excel组件的步骤是: 1.新建Package工程 2.在Office安装目录下找到文件XL5CHS32.OLB 我的Office版本是2007,XL5CHS3 ...

  2. 网络编辑器插件ckeditor+ckfinder配置

    原帖地址 另外一个 去掉编辑器的下边栏 在config.js中加入: config.removePlugins = 'elementspath'; config.resize_enabled = fa ...

  3. [算法练习] UVA 10420 - List of Conquests?

    UVA Online Judge 题目10420 - List of Conquests 问题描述: 题目很简单,给出一个出席宴会的人员列表,包括国籍和姓名(姓名完全没用).统计每个国家有多少人参加, ...

  4. Laravel_Elixir_gulp任务利器安装

    目录 说明 安装 1安装gulp 2安装Elixir 3Elixir快速入门 4合并cssjs 5版本控制version 6复制copy 7方法串联 1.说明 详细说明暂时省略,后期补充.小白的角度理 ...

  5. Java Concurrency - Phaser, Controlling phase change in concurrent phased tasks

    The Phaser class provides a method that is executed each time the phaser changes the phase. It's the ...

  6. JMS - Exceptions

    The JMSException JMS defines JMSException as the root class for exceptions thrown by JMS methods. JM ...

  7. android手机中图片的拖拉及浏览功能

    配置文件 activity_main.xml <LinearLayout xmlns:android="http://schemas.android.com/apk/res/andro ...

  8. xheditor上传图片的java实现

    最近一个项目中因为框架的原因,很多文本编辑器都不兼容,最后找到xheditor,这个富文本编辑器的确不错,功能基本都能满足,只是上传图片的java接口需要自己写,因此,测试了两种方法,最终成功.分享给 ...

  9. 很牛逼的android真机调试，手机、平板、电视都可

    1.首先通过路由器,搭建局域网 2.手机开wifi,记住ip地址,平板开wifi,记住ip地址,电视开wifi,记住ip 3.然后再eclipse里面“窗口-首选项-android-ddms里面设置使 ...

  10. OC10_文件练习

    // // TextHander.h // OC10_文件练习 // // Created by zhangxueming on 15/6/19. // Copyright (c) 2015年 zha ...