刚开始使用http中间件做爬虫其实蛮多坑的,最主要的坑就是编码问题,有很多中文网站的采用的gb2313的编码方式,这个在爬到的报文解析就很蛋碎, 因为http中间件对utf-8支持的比较好,所以针对这一点我们需要对于gb2312的网站做编码转换处理 这里我使用了mongoose,所以node执行js会先链接test数据库 这里爬了百度阅读的数据,但是爬下来的图片链接在本地网页是不能使用的,百度图片服务器做了请求筛选 代码如下: /** * Created by Myco on 2016/3/15…

装mongondb数据库装好以后进入c盘mongondb bin里边 复制地址 将其放入环境变量里边 放之前需要往前边加一个英语的;在 d盘 建一个data文档 里边简历一个db文件夹 cmd命令框输入 mongod --dbpath=d:/data会看到27017 就表示数据库服务器开机成功啦 模块化 核心模块(fs,http ,url,path,querystring) /aaa?a=1&b=2 qs.parse(a=1&b=2) {a:1,b:2} qs.stringify({a:1…

一.mongonDB基本介绍 什么是MongoDB ? MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统. 在高负载的情况下,添加更多的节点,可以保证服务器性能. MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成.MongoDB 文档类似于 JSON 对象.字段值可以包含其他文档,数组及文档数组. 主要特点 MongoDB的提供了一个面向文档存储,操作起来比较简单…

MongoDB特点使用不存在的对象,就等于你在创建这个对象(库,表,记录) MongoDB服务器/客户端相关 (记得把配置环境变量bin,MongonDB安装后bin在C盘的programfile--找到MongoDB->最终的bin文件夹) 1.开启服务器mongod ps:第一次启动会报错,提示缺少data\db,创建文件夹即可 mkdir c:\data\db 2.开启客户端 cmd指令: mongo 数据库,表相关 查看数据库: db 创建/使用数据库:use 数据库名 创建/使用表:(…

转自(http://blog.csdn.net/lchjustc/article/details/16988251) Mongodb调研 1.   调研目的 现在公司缺乏一个通用的key-value存储系统.快盘的底层存储系统适合用来存储文件,文件的元数据现在是存储在mysql中的.为了应对元数据规模 的不断扩大,在元数据上增加引用计数,以及应对未来可能的元数据格式变化,都需要一个更加通用的key/value存储系统来存储这些元数据. 调研Mongodb是否适合用来作为存储ufa/block元数…

目录 1.下载MongoDB 2.启动MongoDB 3.添加环境变量,添加启动服务 1.下载MongoDB MongoDB的官网 简单下载方法 win32/mongodb-win32-x86_64-2008plus-ssl-v4.0-latest-signed.msi 2.启动MongoDB 启动服务:打开命令行输入命令 >>>mongod -dbpath "C:\lucas\mongodb\data\db" >>>mongod --dbpath…

配置 vi  mongodb.conf dbpath=/usr/local/mongodb/data/ logpath=/usr/local/mongodb/data/mongodb.log port=27017 # 指定服务端口号,默认端口27017 fork=true # 以守护进程的方式运行MongoDB,创建服务器进程 auth=true # 启用验证 bind_ip=0.0.0.0 启动mongodb: /usr/local/mongodb/bin/mongod -f /usr/loc…

1.以某字段开头的数据查询条件 $title = input('param.title'); $where['title'] = new \MongoDB\BSON\Regex("^{$title}",'i'); //已title开头的字 2.原生用法: //query  查询列表 $command = new \MongoDB\Driver\Query($where);$manager = new \MongoDB\Driver\Manager('mongodb://localhos…

页面搭建基本完成,只是样式还没有美化,由于采取的前后端分离开发,所有页面逻辑全部由vue来负责,后台采用express框架只用来提供 接口,注册就是讲数据存入数据库,比较简单,而登陆碰了一些小问题,发出来,给遇到同样问题的同学做一个参考: 发现其实就是一个传值的问题 methods:{ login:function(){ let params={ username:this.username, password:this.password, email:this.email }; this.$a…

看了一段时间vue的文档,一直没有机会来开发一个真正的vue项目,趁着这几天清闲,整合一下最新的技术,变学变练来开发一个vue的简单博客 有了开发博客的想法之后,谁知道第一步就被拦住了,看了vue的基础文档以及vue-router的基础文档,但连页面跳转感觉都有心无力,最后参考 了很多大神的案例,总算解决了路由这一块,其实没入门之前觉得很深奥,但其实也就那么回事,不多说,上代码: import Vue from 'vue' import Router from 'vue-router'//引入父…