pilicat-dfs 霹雳猫-分布式文件系统
pilicat-dfs
霹雳猫-分布式文件系统
一种可以将网站图片或上传的文件,进行分布式存放的服务,可自动复制到多台物理机器,可满足高可用和负载均衡
已编译好的程序包
http://git.oschina.net/tavenli/pilicat-dfs/releases
功能介绍
支持多个dfs-node
支持对上传的文件自动复制到多个dfs-node
支持 RestfulAPI 接口,方便各种语言调用
可以对dfs-node进行分组
为什么要使用pilicat-dfs
可使每个应用系统上传的附件,不存放在应用系统目录下,即使上传了图片木马,也执行不了,因为dfs是纯静态
可同时满足多个应用系统上传附件的需求,将多个应用上传的附件存放在统一的一组服务器,方便管理
可以更好的实现CDN,加速对静态资源的访问,因为这里都是纯静态
同一份文件,自动分发到多台物理节点,并支持通过 lvs 或 nginx 实现负载均衡,实现高可用和物理容灾
还有很多优点,就不全部阐述了...
功能使用
- dfs-node当做单节点使用,非集群高可用方式
- 启动dfs-node
cd dfs-node_linux64_v1.0.0
./start.sh
- 上传文件测试
curl -X POST -F file=@/app/test.jpg http://127.0.0.1:8800/api/file
- 服务返回信息
{
"Code": ,
"Msg": "success",
"Data": {
"FileUrlPath": "/file/2017/07/21/5e30cf328e44824ece5ddc52b629b73c.jpg",
"OrgFileName": "test.jpg",
"PubUrl": "http://dsf.hicode.top/file/2017/07/21/5e30cf328e44824ece5ddc52b629b73c.jpg"
}
}
dfs-node配置文件说明
node.name = "dfs-node-1" //节点名称,在同一个center中唯一
node.public.addr = "0.0.0.0:8700" //用于对外访问端口,主要供web访问上传后的文件,如果是80端口直接对外,可直接绑到80端口上
node.api.addr = "0.0.0.0:8800" //用于内网接口,文件上传、覆盖、删除等操作,都通过该端口,通常绑定在内网IP
node.auth.type = "IpWhiteList" //内网接口的鉴权方式,目前支持 SecretAuth 和 IpWhiteList两种方式,如果不需要鉴权,该项内容留空,或不配置即可
node.auth.token = "26CCD056107481F45D1AC805A24A9E59" //当鉴权类型为 SecretAuth 时,需要配置该项
node.ip.white.list = "127.0.0.1,192.168.1.0/24" //当鉴权类型为 IpWhiteList 时,需要配置该项 dfs.center = "192.168.1.200:8000" //集群高可用服务所在位置,用于自动注册dfs-node
dfs.public.url = "http://dsf.hicode.top:8700" //用于对外访问的域名
pilicat-dfs 霹雳猫-分布式文件系统的更多相关文章
- 分布式文件系统HDFS,大数据存储实战(一)
本文进行了以下工作: OS中建立了两个文件,文件中保存了几组单词. 把这两个文件导入了hadoop自己的文件系统. 介绍删除已导入hadoop的文件和目录的方法,以便万一发生错误时使用. 使用列表命令 ...
- 笔记之分布式文件系统(DFS)
不知何故,老外都挺喜欢使用DFS,但是国内公司用这个的不多.一个具体的需求就是,备份服务器在国外,所以启用DFS把国内的数据同步一份到国外进行备份.最近有机会接触DFS,把一些心得体会记录一下. 1. ...
- 分布式文件系统 - FastDFS 简单了解一下
别问我在哪里 也许我早已不是我自己,别问我在哪里,我一直在这里. 突然不知道说些什么了... 初识 FastDFS 记得那是我刚毕业后进入的第一家公司,一个技术小白进入到当时的项目组后,在开发中上传用 ...
- HDFS分布式文件系统资源管理器开发总结
HDFS,全称Hadoop分布式文件系统,作为Hadoop生态技术圈底层的关键技术之一,被设计成适合运行在通用硬件上的分布式文件系统.它和现有的分布式文件系统有很多共同点,但同时,它和其他的分布式 ...
- Hadoop 分布式文件系统:架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时,它和其他的分布式文件系统 ...
- [转]分布式文件系统FastDFS架构剖析
[转]分布式文件系统FastDFS架构剖析 http://www.programmer.com.cn/4380/ 文/余庆 FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实 ...
- 【官方文档】Hadoop分布式文件系统:架构和设计
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计 ...
- 分布式文件系统 - FastDFS
分布式文件系统 - FastDFS 别问我在哪里 也许我早已不是我自己,别问我在哪里,我一直在这里. 突然不知道说些什么了... 初识 FastDFS 记得那是我刚毕业后进入的第一家公司,一个技术小白 ...
- KASS分布式文件系统(Kass File System)
KASS分布式文件系统(Kass File System),简称KFS,是开始公司自主研发的分布式文件存储服务平台.KFS系统架构及功能服务类似Hadoop/GFS/DFS,它通过HTTP-WEB为上 ...
随机推荐
- [vscode] pylint在虚拟环境下错误告警问题
在左下角点击python, 选择对应的虚拟环境即可.
- LOJ.2585.[APIO2018]新家(二分 线段树 堆)
LOJ 洛谷 UOJ BZOJ 四OJ Rank1 hhhha 表示这个b我能装一年→_→ 首先考虑离线,将询问按时间排序.对于每个在\([l,r]\)出现的颜色,拆成在\(l\)加入和\(r+1\) ...
- [BZOJ3339]Rmq Problem / mex
Description: 有一个长度为n的数组{a1,a2,-,an}.m次询问,每次询问一个区间内最小没有出现过的自然数. Hint: \(n \le 2*10^5\) Solution: 主席树好 ...
- Python3从零开始爬取今日头条的新闻【四、模拟点击切换tab标签获取内容】
Python3从零开始爬取今日头条的新闻[一.开发环境搭建] Python3从零开始爬取今日头条的新闻[二.首页热点新闻抓取] Python3从零开始爬取今日头条的新闻[三.滚动到底自动加载] Pyt ...
- [Codeforces113C]Double Happiness(数论)
题意 给定闭区间[l,r] [l,r] [l,r],找出区间内满足t=a2+b2 t=a^{2}+b^{2} t=a2+b2的所有素数t t t的个数( a,b a,b a,b为任意正整数). 思路 ...
- 【学习笔记】python2的print和python3的print()
python2.x和3.x中的输出语句有着明显不同 2.x中的print不是个函数,输出格式如下 Python 2.7.12+ (default, Aug 4 2016, 20:04:34) [GCC ...
- 移动端input中的placeholder属性垂直
今天做项目时发现,在手机端用placeholder时,Android手机可以垂直显示:ISO则不能使placeholder垂直;解决办法: .gcddfadf-con-pay-1 input::-we ...
- 学习 IOC 设计模式前必读:依赖注入的三种实现
一直以来就是越难的东西越值钱! 嘿嘿,这篇博文章转载自:http://www.cnblogs.com/liuhaorain/p/3747470.html 摘要 面向对象设计(OOD)有助于我们开发出高 ...
- Linux命令第一篇
作业一: 1) 新建用户natasha,uid为1000,gid为555,备注信息为“master” natasha:x:1004:555:master:/home/natasha:/bin/ba ...
- Servlet(10)—请求转发和请求重定向
请求转发与请求重定向 ①区别: 本质区别:请求转发只发出一次请求,请求重定向则发出两次请求. 请求转发:地址栏是初次发出请求的地址在最终的Servlet中,request对象和中转的那个request ...