devicemapper存储驱动下镜像的存储

docker配置devicemapper存储驱动

#查看当前使用的存储驱动，默认为overlay
docker info | grep -i storage

#停止docker
systemctl stop docker
#移除原存储配置文件
rm /etc/sysconfig/docker-storage

#使用vdb磁盘创建pv
pvcreate /dev/vdb

#使用vdb磁盘创建dockercg
vgcreate dockervg /dev/vdb

#配置docker pool为dockervg
cat <<EOF > /etc/sysconfig/docker-storage-setup
VG=dockervg
EOF

#配置存储
docker-storage-setup

#重启docker
systemctl restart docker

devicemapper存储驱动下镜像的存储

docker数据存储的目录为/var/lib/docker，可以通过docker info | grep -i "Docker Root Dir" 查看

以下通过构建一个镜像来观察镜像的存储方式，Dockerfile如下

#创建测试目录
mkdir  -p /tmp/docker-test && cd /tmp/docker-test

#创建Dockerfile和测试文件
echo <<EOF > Dockerfile
FROM docker.io/resouer/guestbook:v1 （该镜像已存在节点）
COPY 1 /tmp/1.txt
COPY 2 /tmp/2.txt
COPY 3 /tmp/3.txt
EOF
echo 111 > 1
echo 222 > 2
echo 333 > 3

#构建镜像前/var/lib/docker/devicemapper两个目录文件数量如下

#构建镜像

docker build -t docker-test01 . --no-cache

#构建镜像后/var/lib/docker/devicemapper两个目录文件数量如下

#通过ls -lrt在metadate目录查看最新生成的文件，如图新增了3个文件与Dockerfile中的3个COPY层对应

#每层分别有一个device_id，如下图

使用device_id创建dm设备并挂载到文件系统

如上，每个镜像层都会对应一个device_id

#查看docker为其管理的容器所创建的dm设备
dmsetup ls
dmsetup table
其中dmsetup table输出结果的格式如下
logical_start_sector num_sectors target_type target_args
开始扇区             扇区数      设备类型    设备参数

如docker-253:1-1447237-b4b4ee02b3171ce0d9c9c39012b87dfe69c72fee4ab2a004bf03983ea00b612c: 0 20971520 thin 252:2 141

docker-253:1-1447237-b4b4ee02b3171ce0d9c9c39012b87dfe69c72fee4ab2a004bf03983ea00b612c为在/dm设备名称
0为起始扇区
20971520 为扇区数，一个扇区大小为512kb，总共为10g
thin为{未知，dm设备所使用的存储块按需分配？}
252:2为dockervg-docker--pool的dm编号，可通过dmsetup ls查看
141为device_id

#为每个镜像层依次创建dm设备
dmsetup create myimage-dm1 --table "0 20971520 thin 252:2 186"

dmsetup create myimage-dm2 --table "0 20971520 thin 252:2 189"

dmsetup create myimage-dm3 --table "0 20971520 thin 252:2 192"

#查看/dev/mapper目录，发现新增了3个链接文件，链接到不同dm设备

#创建测试挂载点，并挂载dm设备

mkdir -p /tmp/mp1

mkdir -p /tmp/mp2

mkdir -p /tmp/mp3

mount /dev/dm-19 /tmp/mp1/

查看/tmp/mp1中的rootfs/tmp目录，如下，tmp目录只有一个1.txt文件，与Dockerfile中的第一个COPY层吻合

继续通过mount /dev/dm-20 /tmp/mp2/  mount /dev/dm-21 /tmp/mp3/挂载第二层和第三层，均报Filesystem has duplicate UUID 040571c8-2123-4c9b-ab15-a77f69626835 - can't mount，如下

#卸载dm-19，再挂载dm-20，可以看到tmp目录下对应Dockerfile中的第一个COPY和第二个COPY的内容

umount /dev/dm-19 && mount /dev/dm-20 /tmp/mp2

#再次dm-20，再挂载dm-21，可以发现tmp目录是对应的全部的三个测试文件

以上说明，镜像的每一个层是根据Dockerfile中的顺序依次叠加的

应用

每个镜像层是上一个镜像层的一个快照，容器层则是顶层镜像的快照，每一个容器也会对应一个DeviceId。当容器死掉之后，docker会默认移除这个容器对应的dm设备，那么这个死掉的容器的rootfs就没有挂载到文件系统上，可以通过docker inspect {containerId} | grep -i deviceid获取到DeviceId之后，使用上文提到的方法创建dm设备并挂载到文件系统，这样就可以取出死掉的容器中的内容。

参考：

https://www.cnblogs.com/xuxinkun/p/10643840.html

https://blog.csdn.net/felix_yujing/article/details/54344251

摘抄至上述链接：

关于读
官网上读操作的说明图如下：

1）应用请求读取容器中的0x44f块区
因为容器是镜像的一个简单快照，并没有数据只有一个指针，指向镜像层存储数据的地方。
2）存储驱动根据指针，到镜像快照的a005e镜像层寻找0xf33块区
3）devicemapper从镜像快照拷贝0xf33的内容到容器的内存中
4）存储驱动最后将数据返回给请求的应用

关于写
当对容器中的大文件做一个小的改动的时候，devicemapper不会复制这整个文件，而是只拷贝被修改的块区。每个块区的大小为64KB。

写新数据的情况
例如，写56KB大小的新数据到一个容器：
1）应用发出一个要写56KB的新数据到容器的请求
2）根据按需分配，将分配一个新的64KB的块区给容器的快照
如果写操作的数据大于64KB的话，将分配多个块区
3）之后，数据将被写入到新分配的块区中

覆写已有的数据
每当容器第一次更新已有的数据时：
1）应用发出一个修改容器中数据的请求
2）copy-on-write操作将定位到需要更新的块区
3）然后分配新的空块区给容器快照，并复制数据到新分配的块区
4）接着，在有复制数据的新块区中进行数据修改
容器中的应用对发生的allocate-on-demand操作和copy-on-write操作是无感的

关于devicemapper的性能
allocate-on-demand的性能影响
每当应用有新数据要写入容器时，都要从pool中去定位空的块区并映射给容器。因为所有块区都是64KB的，小于64KB的数据也会分配一个块区；大于64B的数据则会分配多个块区。所以，特别是当发生很多小的写操作时，就会比较影响容器的性能。

copy-on-write的性能影响
每当容器第一次更新已有的数据时，devicemapper存储驱动都要执行copy-on-write操作。这个操作是从镜像快照复制数据到容器快照，这对容器性能还是有比较明显的性能影响的。当容器发生很多小64KB的写操作时，devicemapper的性能会比AUFS要差。

其它方面
1）所使用的mode
默认情况下，devicemapper使用的是loop-lvm模式，这种模式使用的是sparse files，性能比较低。生产环境建议使用direct-lvm模式，这种模式存储驱动直接写数据到块设备。
2）使用高速存储
如果希望更好的性能，可以将Data file和Metadata file放到SSD这样的高速存储上。
3）内存使用
devicemapper并不是一个有效使用内存的存储驱动。当一个容器运行n个时，它的文件也会被拷贝n份到内存中，这对docker宿主机的内存使用会造成明显影响。因此，devicemapper存储驱动可能并不是PaaS和其它高密度使用型的最好选择。

对于写操作较大的，可以采用挂载data volumes。使用data volumes可以绕过存储驱动，从而不受thin provisioning和copy-on-write产生的负责影响。