NFS 共享存储实战

目录

• NFS 共享存储实战
• 一、NFS概述
• 二、NFS部署
• 部署NFS客户端backup和web01
• 统一web、nfs、backup的用户权限
• 代码部署步骤
• 三、NFS配置详解
• NFS存储小结
• 四、NFS案例实践

NFS 共享存储实战

一、NFS概述

共享存储，文件服务器

NFS是Network File System的缩写及网络文件系统。NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。NFS系统和Windows网络共享、网络驱动器类似, 只不过windows用于局域网, NFS用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS,ceph

1.为什么要使用共享存储

• 1.实现多台服务器之间数据共享*

• 2.实现多台服务器之间数据一致*

2.集群没有共享存储的情况

• 1.A用户上传图片经过负载均衡，负载均衡将上传请求调度至WEB1服务器上。*

• 2.B用户访问A用户上传的图片，此时B用户被负载均衡调度至WEB2上，因为WEB2上没有这张图片，所以B用户无法看到A用户传的图片。*
  
  

** 2.集群有共享存储***

• 1.A用户上传图片无论被负载均衡调度至WEB1还是WEB2, 最终数据都被写入至共享存储*

• 2.B用户访问A用户上传图片时，无论调度至WEB1还是WEB2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了*
  
  

3.NFS的工作原理

• 1.用户进程访问NFS客户端，使用不同的函数对数据进行处理*

• 2.NFS客户端通过TCP/IP的方式传递给NFS服务端。*

• 3.NFS服务端接收到请求后，会先调用portmap进程进行端口映射。*

• 4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。*

• 5.Rpc.mount进程判断客户端是否有对应的权限进行验证。*

• 6.idmap进程实现用户映射和压缩7.最后NFS服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件。*
  
  

二、NFS部署

环境准备

主机名	角色	外网IP	内网IP
backup	nfs的客户端	10.0.0.41	172.16.1.41
nfs	nfs的服务端	10.0.0.31	172.16.1.31
web01	nfs的客户端	10.0.0.7	172.16.1.7

关闭防火墙和selinux

#1.关闭Firewalld防火墙
[root@nfs ~]# systemctl disable firewalld
[root@nfs ~]# systemctl stop firewalld

#2.关闭selinux防火墙
[root@nfs ~]# sed -ri '#^SELINUX=#cSELINUX=Disabled' /etc/selinux/config
[root@nfs ~]# setenforce 0

1.部署nfs服务端

yum -y install nfs-utils rpcbind

2.启动rpcbind

#启动rpcbind
[root@nfs01 ~]# systemctl start rpcbind
#添加开机自启
[root@nfs01 ~]# systemctl enable rpcbind   (系统默认开机自启)

3.测端口和进程

[root@nfs01 ~]# ps -ef|grep rpc
rpc       11746      1  0 01:12 ?        00:00:00 /sbin/rpcbind -w
root      11750  11421  0 01:15 pts/1    00:00:00 grep --color=auto rpc

[root@nfs01 ~]# netstat -lntup|grep 111
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd
tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd
udp        0      0 0.0.0.0:111             0.0.0.0:*                           1/systemd
udp6       0      0 :::111                  :::*                                1/systemd

4.编辑配置文件

[root@nfs01 ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)   （统一修改uid为666，gid为666）
目录   共享目录     读写，参数

配置场景

将nfs服务端的/data目录共享给172.16.1.0/24网段内的所有主机

1. 所有客户端主机都拥有读写权限
2. 在将数据写入到NFS服务器的硬盘中后才会结束操作，最大限度保证数据不丢失
3. 将所有用户映射为本地的匿名用户(nfsnobody)

#NFS客户端地址与权限之间没有空格
[root@nfs ~]# vim /etc/exports
/data   172.16.1.0/24(rw,sync,all_squash)

5.设置开机自启

在使用NFS服务进行文件共享之前，需要使用RPC（Remote Procedure Call远程过程调用服务将NFS服务器的IP地址和端口号信息发送给客户端。因此，在启动NFS服务之前，需要先重启并启用rpcbind服务程序,同时都加入开机自启动

#加入开机自启
[root@nfs ~]# systemctl enable rpcbind nfs-server

#启动服务
[root@nfs ~]# systemctl restart rpcbind nfs-server

#检测端口
[root@nfs ~]# netstat -lntup

#检测文件
[root@nfs ~]# cat /var/lib/nfs/etab

6.创建/data目录

[root@nfs01 html]# groupadd www -g 666
[root@nfs01 html]# useradd www -u 666 -g 666
[root@nfs01 data]# mkdir /data
[root@nfs01 data]# chown -R www.www /data
#NFS共享目录会记录至/var/lib/nfs/etab,如果该目录不存在共享信息,请检查/etc/exports是否配置错误

7.启动NFS

[root@nfs01 ~]# systemctl start nfs-server

部署NFS客户端backup和web01

yum install -y rpcbind nfs-utils

1.启动rpcbind

#只启动rpcbind
[root@web01 ~]# systemctl start rpcbind
[root@backup ~]# systemctl start rpcbind

2.查看可挂载点

[root@backup ~]# showmount -e 172.16.1.31   （要用到showmount所以要安装nfs）

3.挂载目录

[root@backup ~]# mount -t nfs 172.16.1.31:/data /backup
挂载的是nfs类型的
df -h 可查看，多出来18G
cd /backup  (可查看目录，但里面没内容，这个是远端的目录)

4.挂载拓展：

如果希望NFS文件共享服务能一直有效，则需要将其写入到fstab文件中

#编辑fstab文件
[root@nfs-client ~]# vim /etc/fstab
172.16.1.31:/data /nfsdir nfs defaults 0 0

#验证fstab是否写正确
[root@nfs-client ~]# mount -a

如果不希望使用NFS共享, 可进行卸载

[root@nfs-client ~]# umount /nfsdir 

#注意:卸载的时候如果提示”umount.nfs: /nfsdir: device is busy”
#1.切换至其他目录, 然后在进行卸载。
#2.NFS Server宕机, 强制卸载umount -lf /nfsdir

在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录。然后执行的。

#通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /mnt

有时也需要考虑性能相关参数[可选]

#通过mount -o指定挂载参数，禁止更新目录及文件时间戳挂载
[root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /mnt

统一web、nfs、backup的用户权限

---------------------------------修改WEB和backup一样的-----------------------------------
#创建www用户和组
[root@backup html]# groupadd www -g 666
[root@backup html]# useradd www -u 666 -g 666
yum install -y httpd php

#修改httpd的配置文件
vim /etc/httpd/conf/httpd.conf
User www
Group www

[root@backup html]# systemctl restart httpd  （重启）

代码部署步骤

1.安装服务，httpd（apache）和php

yum install -y httpd php

2.查找httpd的站点目录

[root@web01 html]# rpm -ql httpd|grep html    （查找站点目录）
[root@web01 html]# rz windows-提交作业代码.zip
[root@web01 html]# yum install -y unzip
[root@web01 html]# unzip windows-提交作业代码.zip

3.修改上传目录

[root@backup ~]# vim /var/www/html/upload_file.php
$wen="/var/www/html/tupian";

共享挂载

[root@backup ~]# df -h
[root@backup ~]# mount -t nfs 172.16.1.31:/data /var/www/html/

4.启动服务

systemctl restart httpd

三、NFS配置详解

执行man exports命令，然后切换到文件结尾，可以快速查看如下样例格式：

nfs共享参数	参数作用
rw*	读写权限
ro	只读权限
root_squash	当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash	当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
all_squash	无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用)
no_all_squash	无论NFS客户端使用什么账户访问，都不进行压缩
sync*	同时将数据写入到内存与硬盘中，保证不丢失数据
async	优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
anonuid*	配置all_squash使用,指定NFS的用户UID,必须存在系统
anongid*	配置all_squash使用,指定NFS的用户UID,必须存在系统

1.服务端修改rw为ro参数

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(ro,sync,all_squash)
[root@nfs ~]# systemctl restart nfs-server

2.客户端验证

[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@nfs-client ~]# df -h
Filesystem         Size  Used Avail Use% Mounted on
172.16.1.31:/data   98G  1.7G   97G   2% /mnt

# 发现无法正常写入文件
[root@backup mnt]# touch file
touch: cannot touch ‘file’: Read-only file system

3.NFS服务端配置

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

4.服务端需要创建对应的用户

[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# id www
uid=666(www) gid=666(www) groups=666(www)

5重载nfs-server

[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# cat /var/lib/nfs/etab
/data   172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,secure,root_squash,all_squash)

6.授权共享目录为www

[root@nfs ~]# chown -R www.www /data/
[root@nfs ~]# ll -d /data/
drwxr-xr-x 3 www www 53 Sep  3 02:08 /data/

7.客户端验证

[root@backup ~]# umount /mnt/
[root@backup ~]# mount -t nfs 172.16.1.31:/data /mnt

8.客户端查看到的文件，身份是666

[root@backup ~]# ll /mnt/
drwxr-xr-x 2 666 666 6 Sep  3 02:08 rsync_dir
-rw-r--r-- 1 666 666 0 Sep  3 02:08 rsync_file

9.客户端依旧能往/mnt目录下写文件

[root@backup mnt]# touch fff
[root@backup mnt]# mkdir 111
[root@backup mnt]# ll
drwxr-xr-x 2 666 666 6 Sep  3 03:05 111
-rw-r--r-- 1 666 666 0 Sep  3 03:05 fff

10.建议：将客户端也创建一个uid为666，gid为666，统一身份，避免后续出现权限不足的情况

[root@backup mnt]# groupadd -g 666 www
[root@backup mnt]# useradd -g 666 -u 666 www
[root@backup mnt]# id www
uid=666(www) gid=666(www) groups=666(www)

11.最后检查文件的身份

[root@backup mnt]# ll /mnt/
total 4
drwxr-xr-x 2 www www 6 Sep  3 03:05 111
-rw-r--r-- 1 www www 0 Sep  3 03:05 fff

NFS存储小结

1.NFS存储优点

1）NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。2）NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。

2.NFS存储局限

1）存在单点故障, 如果构建高可用维护麻烦web->nfs()->backup2）NFS数据明文, 并不对数据做任何校验。3）客户端挂载NFS服务没有密码验证, 安全性一般(内网使用)

3.NFS应用建议

1）生产场景应将静态数据尽可能往前端推, 减少后端存储压力2）必须将存储里的静态资源通过CDN缓存jpg\png\mp4\avi\css\js3）如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

四、NFS案例实践

准备3台虚拟机服务器，并且请按照要求搭建配置NFS服务。NFS服务端（A）NFS客户端（B）NFS客户端（C）1.在NFS服务端(A)上共享/data/w(可写)及/data/r(只读)2.在NFS客户端(B/C)上进行挂载

环境准备

服务器系统	角色	IP
CentOS 7.5	NfsServer(A)	172.16.1.31
CentOS 7.5	NfsClient(B)	172.16.1.41
CentOS 7.5	NfsClient(C)	172.16.1.7

1.NFS服务端配置

#1.安装nfs
[root@nfs01 ~]# yum install -y nfs-utils

#2.配置nfs
[root@nfs01 ~]# cat /etc/exports
/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

#3.创建对应用户
[root@web01 ~]# groupadd -g 666 www
[root@web01 ~]# useradd -u 666 -g www www
[root@nfs01 ~]# id www
uid=666(www) gid=666(www) groups=666(www)

#4.创建共享目录
[root@nfs01 ~]# mkdir /data/{r,w} -p
[root@nfs01 ~]# chown -R www.www /data/
//5.重启NFS
[root@nfs01 ~]# systemctl restart rpcbind nfs-server

2.NFS-客户端配置

#1.安装nfs工具
[root@backup-41 ~]# yum install nfs-utils -y
[root@backup-41 ~]# systemctl restart rpcbind

#2.准备本地挂载点目录
[root@backup-41 ~]# mkdir /data/{r,w} -p

#3.准备对应用户
[root@backup-41 ~]# groupadd -g 666 www
[root@backup-41 ~]# useradd -u 666 -g www www
[root@backup-41 ~]# id www
uid=666(www) gid=666(www) groups=666(www)

#4.查看远端共享的nfs目录
[root@backup-41 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data/w 172.16.1.0/24
/data/r 172.16.1.0/24

#5.挂载对应目录站点
[root@backup-41 ~]# mount -t nfs  172.16.1.31:/data/w /data/w/
[root@backup-41 ~]# mount -t nfs 172.16.1.31:/data/r /data/r/
[root@backup-41 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
172.16.1.31:/data/w       50G  1.6G   49G   4% /data/w
172.16.1.31:/data/r       50G  1.6G   49G   4% /data/r

#6.测试/data/r读权限
[www@backup-41 r]$ pwd
/data/r
[www@backup-41 r]$ cat edu.com
This is Nfs to Oldboy
[www@backup-41 r]$ touch edu
touch: cannot touch ‘edu’: Read-only file system

#7.测试/data/w写权限
[root@backup-41 r]# cd /data/w/
[root@backup-41 w]# pwd
/data/w
[root@backup-41 w]# touch bbbback
[root@backup-41 w]# ll
total 0
-rw-r--r-- 1 www www 0 Jul 26 09:22 backup_w
-rw-r--r-- 1 www www 0 Jul 26 09:26 bbbback

#8.实现开机自动挂载
[root@backup-41 ~]# echo "172.16.1.31:/data/r /data/r nfs defaults 0 0" >>/etc/fstab
[root@backup-41 ~]# echo "172.16.1.31:/data/w /data/w nfs defaults 0 0" >>/etc/fstab

#注意: 当将远程挂载设备写入/etc/fstab文件后，一定要执行mount -a
[root@backup-41 ~]# mount -a
[root@backup-41 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
172.16.1.31:/data/r       50G  1.6G   49G   4% /data/r
172.16.1.31:/data/w       50G  1.6G   49G   4% /data/w
#如果编写错误会有如下提示
[root@backup-41 ~]# mount -a
mount.nfs: access denied by server while mounting 172.16.1.31:/dataa/w

#9.卸载nfs
    #1.正常卸载
[root@backup-41 ~]# umount /data/w/
    #2.强制卸载
[root@backup-41 ~]# umount -lf /data/w/

3.NFS扩展项

#1.扩展:无需重启NFS服务平滑加载配置文件
[root@nfs01 r]# cat /etc/exports
/data/r 172.16.1.0/24(ro)
/data/p 172.16.1.0/24(ro)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

[root@nfs01 r]# exportfs -rv
exporting 172.16.1.0/24:/data/w
exporting 172.16.1.0/24:/data/p
exporting 172.16.1.0/24:/data/r

#2.扩展:nfs客户端挂载参数
[root@backup-41 ~]# mount.nfs4 -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/r /data/r/

#3.扩展:nfs客户端永久挂载参数
[root@backup-41 ~]# tail -2 /etc/fstab
172.16.1.31:/data/r /data/r nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0
172.16.1.31:/data/w /data/w nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0

#4.扩展:客户端检查挂载参数是否生效
[root@backup-41 ~]# mount
#等价于
[root@backup-41 ~]# cat /proc/mounts