论文学习 - 《Hadoop平台下的海量数据存储技术研究》

摘要

　　研究背景：

　　　　1. 互联网的图片数据急剧膨胀

　　　　2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据

　　研究内容：

　　　　1. Hadoop平台工作原理

　　　　2. Hadoop平台下图片存储系统的设计与实现

　　　　3. Hadoop平台与Web的整合

　　创新点：

　　　　1. 通过Web方式来访问Hdfs

　　　　2. 存储性能测试自动化

第一章 绪论

　　Pass

第二章 Hadoop工作原理

　　本章可以参考对照Hadoop相关手册，不在此纠结。

第三章 Hadoop图片存储系统设计

　　模块划分：

　　　　1. 普通用户模块

　　　　　　a. 注册功能

　　　　　　b. 登陆功能

　　　　　　c. 修改密码

　　　　　　d. 图片分类管理

　　　　　　e. 图片分类管理

　　　　　　f. 图片上传

　　　　　　g. 图片删除

　　　　2. 管理员模块

　　　　　　a. 登陆功能

　　　　　　b. 修改密码

　　　　　　c. 用户管理

　　　　　　d. 图片管理

　　　　　　e. 统计分析模块

　　　　　　f. 站点设置模块

　　　　3. 客户端模块

　　　　　　a. 建立文件

　　　　　　b. 修改文件

　　　　　　c. 删除文件

　　　　4. 日志分析模块

　　　　　　a. 日志数据的生成

　　　　　　b. 日志数据的分析

　　　　　　c. 统计报表的生成

　　　　5. 系统监控模块

　　　　　　a. cpu监控模块

　　　　　　b. 内存监控模块

　　　　　　c. 网络监控模块

　　图示：

　　

　　系统架构

　　本系统的访问接口是Web浏览器和客户端。

　　系统使用Tomcat来对页面进行处理，MySql数据库来存放用户的普通数据。Hdfs文件系统来存放图片数据。

　　如下图所示：

　　

　　数据库设计

　　设立六个表 - 用户表，权限表，图片分类表，图片表，用户图片统计表，站点设置表

第四章 系统主要功能的实现

　　Pass