python爬虫之MongoDB测试环境安装
一. 下载
从http://www.mongodb.org/downloads地址中下载:mongodb-linux-x86_64-2.4.11.tar
二. 安装
1>设置mongoDB目录
[root@vm13
home]#cd /home/apps
附:centOS下创建目录命令 [root@vm13 home]#mkdir -p /home/apps
2>将文件mongodb-linux-x86_64-2.4.11.tar上传至/home/apps目录
3>解压缩文件
[root@vm13
apps]#tar xzf mongodb-linux-x86_64-2.4.11.tar
文件夹重命名
[root@vm13
apps]#mv mongodb-linux-x86_64-2.4.11 mongodb
4>创建目录与文件
[root@vm13
apps]# mkdir -p mongodb/data/db
[root@vm13
apps]# mkdir -p mongodb/logs
[root@vm13
apps]# touch mongodb/logs/mongodb.logs
5>启动服务
[root@vm13
apps]#./mongodb/bin/mongod -dbpath=/home/apps/mongodb/data/db
-logpath=/home/apps/mongodb/logs/mongodb.logs
all output going
to: /home/apps/mongodb/logs/mongodb.logs
6>将mongoDB服务加入随机启动
[root@vm13
apps]#vi /etc/rc.local
使用vi编辑器打开配置文件,并在其中加入下面一行代码
[root@vm13
apps]#/home/apps/mongodb/bin/mongod --dbpath /home/apps/mongodb/data/db --port
27017 --logpath /home/apps/mongodb/logs/mongodb.logs --logappend
7>连接mongoDB(注意不要关闭之前的界面,需要重新打开一个窗口连接)
[root@vm13
apps]# ./home/apps/mongodb/bin/mongo DBName
MongoDB shell
version: 2.4.11
connecting to:
DBName
Welcome to the
MongoDB shell.
For interactive
help, type "help".
For more
comprehensive documentation, see
http://docs.mongodb.org/
Questions? Try
the support group
http://groups.google.com/group/mongodb-user
出现以上界面表示连接成功。
三.
局域网连接mongoDB
按照上面的操作,mongoDB的在Linux下安装已完成,本地连接mongoDB也已成功。这时我们就要考虑到另外一个问题了,局域网如何来连接mongoDB呢?局域网中windows机器如何来连接Linux机器中的mongoDB呢?其实做法一样很简单:
[root@vm13 apps]#./mongodb/bin/mongo 192.168.5.100/DBName
不过此处就需要注意了,我们需要在centOS上打开mongoDB的端口号,接下来讲讲如何在centOS上打开指定端口。先来查看下此端口是否被占用:
[root@vm13 apps]#netstat -anp |grep 27017
如若此端口未使用,再来打开配置文件[root@vm13 apps]# vi
/etc/sysconfig/iptables,在该文件中添加如下内容:
# Firewall configuration written by
system-config-securitylevel
# Manual
customization of this file is not recommended.
*filter
:INPUT ACCEPT
[0:0]
:FORWARD ACCEPT
[0:0]
:OUTPUT ACCEPT
[0:0]
:RH-Firewall-1-INPUT
- [0:0]
-A
RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 27017 -j ACCEPT
COMMIT
然后重启服务.
[root@vm13 apps]#service iptables
restart
此时,你已可以开始通过局域网来访问centOS上部署的mongoDB.
在本地浏览器中输入http://192.168.5.100:27017/,若出现以下:
You are trying to access MongoDB on the
native driver port. For http diagnostic access, add 1000 to the port number
表示连接成功。
四. 安装过程中遇到的问题
1. Error: couldn't connect to server 127.0.0.1:27017
src/mongo/shell/mongo.js:91
三、解决办法:执行以下语句
[root@vm13 mongodb]# ./bin/mongod
-dbpath=data/db
2.重启防火墙时报错:
解决方法:在最后添加COMMIT.
五、
语法使用
client = pymongo.MongoClient("192.168.1.252",27017)
#content代表是ceshi这个数据库,没有就新建
content = client["ceshi"]
#wb_data变量的值content_links是在测试这个库里面的表名
wb_data = content["content_links"]
1、 写入数据库。
#data指的是爬虫程序已经生成的一个一个字典类型的数据
wb_data.insert_one(data)
2、 读取数据库。
wb_data.find是查找所有数据,这里面可以筛选,例如:查找name=张三
for data in wb_data.find({‘name’:’zhangsan’}):
print(data)
例如二:查找年龄小于22岁:
for data in wb_data.find({‘age’:{‘$lt’:‘22’}}):
print(data)
例如三:查找这个表的所有数据:
for data in wb_data.find():
print(data)
$lt=小于
$lte=小于等于
$gt=大于
$gte=大于等于
$ne=不等于
python爬虫之MongoDB测试环境安装的更多相关文章
- Python爬虫进阶之Scrapy框架安装配置
Python爬虫进阶之Scrapy框架安装配置 初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此 ...
- [转载]SharePoint 2013测试环境安装配置指南
软件版本 Windows Server 2012 标准版 SQL Server 2012 标准版 SharePoint Server 2013 企业版 Office Web Apps 2013 备注: ...
- Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分
1. 准备下载软件 介绍一款爬虫辅助工具mitmproxy ,mitmproxy 就是用于MITM的proxy,MITM中间人攻击.说白了就是服务器和客户机中间通讯多增加了一层.跟Fiddler和Ch ...
- 芝麻HTTP:Python爬虫进阶之Scrapy框架安装配置
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 ...
- tidb测试环境安装,离线部署
1.环境以及规划 机器:centos7.5 ; 文件系统为ext4:内存16g:cpu8核,共三个节点: ip hostname roles --- tidb tipd tikv --- tidb t ...
- MongoDB Windows环境安装及配置
MongoDB一般安装 1.首先到官网(http://www.mongodb.org/downloads )下载合适的安装包,目前的最新版本为2.6 安装包有zip和msi格式的,这里推荐下载zip格 ...
- AlwaysOn可用性组测试环境安装与配置(一)--SQL群集环境搭建
一.测试环境介绍 1. 宿主使用工作站(HYPR-V)基本配置如下: 处理器:Intel(R) Core(TM) i5-4470 CPU @ 3.20GHz 3.20GHz 内存(RAM):8.00G ...
- 利用docker搭建测试环境--安装
软件测试过程中,总会碰到测试环境不够用的尴尬情况.即时有了机器还要经历装系统,配置环境,调试等一系列繁琐的问题.虽然市面上也有一些批处理话的工具(如salt,fabric等),但是还是需要实体机器作为 ...
- Python Unittest - 根据不同测试环境跳过用例详解
本文章会讲述以下几个内容: 1.Unittest 如何跳过用例 2.如何使用sys.argv 3.自动化测试项目中如何一套代码多套环境运行 一.Unittest跳过用例 @unittest.skip( ...
随机推荐
- CUDA Fortran for Scientists and Engineers第二版翻译
下午听朋友说,NV把<CUDA Fortran for Scientists and Engineers>的出版权卖给了国内某出版商.第一反应是我们三翻译的岂不是白翻译了.第二 ...
- 测试一下robotgo自动化操作,顺便解决了原来的mingw版本中只有gcc,没有g++的问题
参考:https://gitee.com/veni0/robotgo#examples 但是编译不成功 找到这个:https://gitee.com/veni0/robotgo#examples ( ...
- [Python] 练习代码
# from random import randrange # num = int(input('摇几次骰子: ')) # sides=int(input('筛子有几个面: ')) # sum=0 ...
- [JXOI2018]排序问题
嘟嘟嘟 这是今天做的第二道九条可怜的题,现在对他的题的印象是:表面清真可做,实则毒瘤坑人. 首先要感谢吉司机,我期望学的特烂,好在样例直接告诉我们期望怎么求了. 令\(b_i\)表示第\(i\)个不同 ...
- oracle 11G direct path read 很美也很伤人
direct path read在11g中,全表扫描可能使用direct path read方式,绕过buffer cache,这样的全表扫描就是物理读了. 在10g中,都是通过gc buffer来读 ...
- Docker安装MySQL并配置远程访问
1.docker search mysql 查看mysql版本 2.docker pull mysql 要选择starts最高的那个name 进行下载 3.docker images 查看下载好的镜像 ...
- GitHub存储库泄露了API令牌和加密密钥
导读 北卡罗莱纳州立大学(NCSU)学者的一项研究表明,一些GitHub存储库泄漏API令牌和密码密钥.研究人员分析了分布在数百万存储库中的10亿多个GitHub文件.研究人员使用GitHub搜索AP ...
- Luogu P1776 宝物筛选_NOI导刊2010提高(02)(多重背包模版)
传送门 多重背包板子题, 多重背包就是每种东西有好几个,可以把它拆分成一个一个的01背包 优化:二进制拆分(拆成1+2+4+8+16+...) 比如18=1+2+4+8+3,可以证明18以内的任何数都 ...
- Spring Cloud 分布式链路跟踪 Sleuth + Zipkin + Elasticsearch【Finchley 版】
随着业务越来越复杂,系统也随之进行各种拆分,特别是随着微服务架构的兴起,看似一个简单的应用,后台可能很多服务在支撑:一个请求可能需要多个服务的调用:当请求迟缓或不可用时,无法得知是哪个微服务引起的,这 ...
- MiniProfiler安装使用心得
MiniProfiler简介: MVC MiniProfiler是Stack Overflow团队设计的一款对ASP.NET MVC的性能分析的小程序.可以对一个页面本身,及该页面通过直接引用.Aja ...