mongodb存储二进制数据的二种方式——binary bson或gridfs
python 版本为2.7
mongodb版本2.6.5
使用mongodb存储文件,可以使用两种方式,一种是像存储普通数据那样,将文件转化为二进制数据存入mongodb,另一种使用gridfs,咱们先来说说第一种
先读取文件内容,然后塞进bson.binary.Binary对象里,最后像平常那样写入数据库,是不是很简单呢,获取文件一样的简单,像平时那样查找数据,然后将二进制内容写入文件即可
#coding=utf-8
'''
Created on 2015-10-8 @author: kwsy2015
'''
import pymongo
import bson.binary
from pymongo import MongoClient
from cStringIO import StringIO
def insertFile():
client = MongoClient('localhost', 27017)
#获得一个database
db = client.MongoFile
#获得一个collection
coll = db.image
filename = 'F:/测试数据/hehe.jpg'.decode('utf-8')
with open (filename,'rb') as myimage:
content = StringIO(myimage.read())
coll.save(dict(
content= bson.binary.Binary(content.getvalue()),
filename = 'hehe.jpg'
)) def getFile():
client = MongoClient('localhost', 27017)
#获得一个database
db = client.MongoFile
#获得一个collection
coll = db.image
data = coll.find_one({'filename':'hehe.jpg'})
out = open('F:/测试数据/test4.jpg'.decode('utf-8'),'wb')
out.write(data['content'])
out.close()
getFile()
因为我的文件路径都带有中文,因此需要用utf-8解码,否则会报错的
使用上述方法存储小文件是很方便的,那么如果是大文件呢,可以使用gridfs
gridfs会把文件分成若干块来存储,每一块的大小默认为256K,所以,如果是小文件,就不要用gridfs来存储了,不然会浪费空间的,gridfs是MongoDB之上的分布式文件系统,可以使用mongodb的分片和复制机制,因为Mongodb分配数据空间时以2GB为单位,所以gridfs不产生磁盘碎片。
#coding=utf-8
'''
Created on 2015-9-29 @author: Administrator
'''
from pymongo import MongoClient
from bson.objectid import ObjectId
from gridfs import *
def insertFile():
client = MongoClient('localhost', 27017)
db = client.Pic
fs = GridFS(db, 'images')
with open ('F:/测试数据/hehe.jpg'.decode('utf-8'),'rb') as myimage:
data=myimage.read()
id = fs.put(data,filename='first')
print id
def getFile():
client = MongoClient('localhost', 27017)
db = client.Pic
fs = GridFS(db, 'images')
file = fs.get_version('first', 0)
data = file.read()
out = open('F:/测试数据/test3.jpg'.decode('utf-8'),'wb')
out.write(data)
out.close()
def delFile():
client = MongoClient('localhost', 27017)
db = client.Pic
fs = GridFS(db, 'images')
fs.delete(ObjectId('560a531b0d4eae34a4edbfdd'))
def listName():
client = MongoClient('localhost', 27017)
db = client.Pic
fs = GridFS(db, 'images')
print fs.list()
listName()
写入文件时,我们可以设置它的filename,如果多个文件使用同一个filename呢,我们在获取文件时可以使用get_version()函数,第一个参数是filename,第二个参数是版本,从0开始。
此外,我们还可以使用get(),函数,需传入文件的ObjectId
使用python操作gridfs总得来说是很方便的,毕竟所提供的函数就那么几个,稍微用心看看源码就没问题了
转自:http://www.voidcn.com/blog/KWSY2008/article/p-4871553.html
mongodb存储二进制数据的二种方式——binary bson或gridfs的更多相关文章
- mongodb存储二进制数据
mongodb 3.x存储二进制数据并不是以base64的方式,虽然在mongo客户端的查询结果以base64方式显示,请放心使用.下面来分析存储文件的存储内容.base64编码数据会增长1/3成为顾 ...
- Android学习笔记(十二)——使用意图传递数据的几种方式
使用意图传递数据的几种方式 点此获取完整代码 我们除了要从活动返回数据,也经常要传递数据给活动.对此我们能够使用Intent对象将这些数据传递给目标活动. 1.创建一个名为PassingData的项目 ...
- Linux就这个范儿 第15章 七种武器 linux 同步IO: sync、fsync与fdatasync Linux中的内存大页面huge page/large page David Cutler Linux读写内存数据的三种方式
Linux就这个范儿 第15章 七种武器 linux 同步IO: sync.fsync与fdatasync Linux中的内存大页面huge page/large page David Cut ...
- 讨论HTTP POST 提交数据的几种方式
转自:http://www.cnblogs.com/softidea/p/5745369.html HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS.GET.HEAD.POST.PU ...
- 使用 MongoDB 存储日志数据
使用 MongoDB 存储日志数据 线上运行的服务会产生大量的运行及访问日志,日志里会包含一些错误.警告.及用户行为等信息.通常服务会以文本的形式记录日志信息,这样可读性强,方便于日常定位问题 ...
- MongoDB 存储日志数据
MongoDB 存储日志数据 https://www.cnblogs.com/nongchaoer/archive/2017/01/11/6274242.html 线上运行的服务会产生大量的运行及访问 ...
- SparkStreaming获取kafka数据的两种方式:Receiver与Direct
简介: Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以简单理解成: Receiver方式是通过zookeeper来连接kafka队列, Dire ...
- SparkStreaming与Kafka,SparkStreaming接收Kafka数据的两种方式
SparkStreaming接收Kafka数据的两种方式 SparkStreaming接收数据原理 一.SparkStreaming + Kafka Receiver模式 二.SparkStreami ...
- 【代码笔记】iOS-向服务器传JSON数据的两种方式
一,代码. - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view. ...
随机推荐
- Spring Cloud ZooKeeper集成Feign的坑3,程序Run模式运行没事,Debug模式下报错
请更新Spring Cloud的版本: <dependency> <groupId>org.springframework.cloud</groupId> < ...
- xamarin.IOS App闪退日志----crash
一.查找日志文件位置:通过xcode/windows/device/你的IPhone/crash 二.拿到日志可以直接查看,但是日志记录太乱看不懂,需要转换处理,查找.DSYM文件,文件位置:/Use ...
- 转: Android开发的网络抓包
方法就是在android机器上面安装tcpdump,然后通过-w参数把抓包记录到本地,再把抓到的.cap文件导到pc上面用wireshark来分析.这里步骤非常多,在和后台联调的时候,这个效率是非常低 ...
- C++ ADO 连接 mysql
1.安装mysql-5.0.22-win32,mysql-connector-odbc-5.1.12-win32.msi 然后:开始菜单->设置->控制面板->管理工具-> ...
- shell grep正则匹配汉字
Shell grep正则匹配中文 测试文本 demo_exe.c,内容如下,需要注意保存的编码格式,对输出到终端有影响: 我们中文操作系统ASNI默认是GBK的. #include<stdio. ...
- Python自动生成文章
为了应付某些情况,需要做17份记录.虽然不很重要,但是17份完全雷同也不很好.大体看了一下,此记录大致分为四段.于是决定每段提供四种选项,每段四选一,拼凑成四段文字,存成一个文件.文件名就叫“XX记录 ...
- 腾讯云ubuntu memcached 安装
ubuntu安装 sudo apt-get install memcached 停止memcached服务:sudo systemctl stop memcached 激活memcached服务:s ...
- OpenStack部署到Hadoop的四种方案
随着企业開始同一时候利用云计算和大数据技术.如今应当考虑怎样将这些工具结合使用.在这样的情况下,企业将实现最佳的分析处理能力.同一时候利用私有云的高速弹性 (rapid elasticity) 和单一 ...
- java编程之JDBC
JDBC的常用类和接口 1. DriverManager类 管理数据库中的所有驱动程序,其所有的方法都是静态方法,调用时无需实例化,通过类名就可以直接调用. 2. Connec ...
- (t,p,o) t:p>=o there cannot be more consumer instances in a consumer group than partitions
https://kafka.apache.org/intro.html Kafka as a Messaging System How does Kafka's notion of streams c ...