docker文件系统-镜像篇
学习docker的本地存储系统结构
首先我们明白docker镜像具有分层的架构，也就是说一个镜像由n个子镜像组成。比如我们下载一个docker镜像（mysql:5.7），可以看到，这里它是一层层去下载的，本地有的层就不会重复去下载。
在pull完镜像之后，我们就会产生一个问题，镜像在本地是怎么存储的？是不是一个文件的方式直接存储在本地？带着问题，一起了解一下镜像在本地的存储方式。
/var/lib/docker，这是docker在本地存储镜像和容器的目录。查看一下目录的结构：
这篇博客主要的内容就在 image/ 子文件中讨论。
进入image文件夹，只有一个子文件夹overlay2，这代表着我本地的docker使用的文件驱动系统是overlay，早期的时候使用的是aufs，也就是说这里文件夹就是对应docker使用的文件的类型了。继续往里进，ls一下：
root@ubuntu:overlay2# lsdistribution imagedb layerdb repositories.json一共有三个文件夹和一个json文件。先看json文件（python -m json.tool 是格式化命令行输出，便于查看）：
root@ubuntu:overlay2# cat repositories.json |python -m json.tool{ "Repositories": { "10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04": { "10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04:1.0": "sha256:62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8", "10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04:juyiwang": "sha256:40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf", "10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04@sha256:2c828d609231bce40039f9d0e68f474edfd5454b3488183c1ae1c0f2d36b89f4": "sha256:40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf", "10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04@sha256:c6c05dbc439c6ba29487cd341f92348d5cf63f2a251e3d88f16ad2ac981b3be3": "sha256:62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8" }, "hyperledger/fabric-tools": { "hyperledger/fabric-tools:1.4.1": "sha256:432c24764fbbc8e2546b0e46d470dd090a459ecd33a4d7c2acca2df734b7906c", "hyperledger/fabric-tools@sha256:c458ddc3109d3519b209baaf9abff113641267ec2adb01dfdcf8f4c9e77a2fa0": "sha256:432c24764fbbc8e2546b0e46d470dd090a459ecd33a4d7c2acca2df734b7906c" }, "jenkins/jenkins": { "jenkins/jenkins:lts-centos": "sha256:8a93d9bb527e66a91d974c4b9a1ca312f90b24742266238098cd9fafdb825405", "jenkins/jenkins@sha256:8b9ccc6797dcfc2513f5d2bf0a0a89a2cc7750e27d72423588989bd6187f22b8": "sha256:8a93d9bb527e66a91d974c4b9a1ca312f90b24742266238098cd9fafdb825405" }, "mongo": { "mongo:latest": "sha256:ba0c2ff8d3620c0910832424efef02787214013b1c5b1d9dc9d87d638e2ceb71", "mongo@sha256:a4448eb5f6e6097353d0ab97eb50aeb0238bb4e60c37e401920d3c2c4fc73eb9": "sha256:ba0c2ff8d3620c0910832424efef02787214013b1c5b1d9dc9d87d638e2ceb71" }, "mysql": { "mysql:5.7": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a", "mysql@sha256:c3a567d3e3ad8b05dfce401ed08f0f6bf3f3b64cc17694979d5f2e5d78e10173": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a" }, "nginx": { "nginx:1.17.9": "sha256:6678c7c2e56c970388f8d5a398aa30f2ab60e85f20165e101053c3d3a11e6663" }……………… }}这里我删去了很多的镜像信息，只留下了一部分，可以看到，刚刚下载的mysql镜像信息为：
"mysql": { "mysql:5.7": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a", "mysql@sha256:c3a567d3e3ad8b05dfce401ed08f0f6bf3f3b64cc17694979d5f2e5d78e10173": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a" }这个 repositories.json文件记载了机器上所有的镜像的信息。相同的镜像不同的tag会放在一个镜像里面存储。存储的具体信息有：第一行存储的是镜像的ID，这个ID在所有的机器上都是统一的。另外一个hash值还不清楚，但是在每个机器上相同镜像也是相同的。
接下来看一下imagedb文件夹:
[root@k8s-master overlay2]# tree imagedb/imagedb/├── content│ └── sha256│ ├── 06298d9e08f809fa1e0d1d8aed6b45c91b06263ae2bf79facc254709a0816b61│ ├── 0633993b5dfcc12185995f44ee2ed14b2182851a88d1c604c5b043be27c6f112│ ├── 133283c0dd722f69ca6c136a2403581dcce7be09a907b2915c1029087b159119│ ├── 219ee5171f8006d1462fa76c12b9b01ab672dbc8b283f186841bf2c3ca8e3c93│ ├── 22c70bba8283cb87951743be5fa043bec56ade01ceee079e6c2357a10b44159a│ ├── 2c4adeb21b4ff8ed3309d0e42b6b4ae39872399f7b37e0856e673b13c4aba13d│ ├── 40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf│ ├── 432c24764fbbc8e2546b0e46d470dd090a459ecd33a4d7c2acca2df734b7906c│ ├── 4e9f801d2217e98e94de72cefbcb010a7f2caccf03834dfd12a8e60abcaaecfd│ ├── 5ac750b5261527d0720f0926183a76f52e33eb0f71368b05c2fe4a481415108f│ ├── 62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8│ ├── 6678c7c2e56c970388f8d5a398aa30f2ab60e85f20165e101053c3d3a11e6663│ ├── 68c3eb07bfc3fc02f468d9e56564fd97fb4d75879b5f7c3ce1d8af4f60d32865│ ├── 76d11bb7c38696065071971f6019154132158da2f23546c20c8c359272920aa0│ ├── 7c926cb4c20c8b4b60ac552cc475714b8a2d7df8830a470c119e94a8ff8425c2│ ├── 7ffcec7b8dd8dd08855040f59871264dc3ca034556e06bfa245c9df98eef1572│ ├── 8205975e0c5a3bc1d0cb38979933e97f68644146f8ead9901befe089f5fb88b2│ ├── 82719e1ce60dc59ffeba849f2e5cb56e6e53eabd09afd41c661c9633e580303a│ ├── 89a062da739d3774b51a5ad4f0876f6d732dc4f15df92b839e433b302968abb6│ ├── 8a93d9bb527e66a91d974c4b9a1ca312f90b24742266238098cd9fafdb825405│ ├── 9a4b698bff47c4b3df9a053e82e4eda633fffcfe8399c5fc8fa0358fc8e12546│ ├── 9bdad03644c77f646425c50ea4aacfb146ee40dfeee6a40eff031c044deee5de│ ├── 9f3a39d15fb92be6ccd28cbae89d4edf100ec7968cf437aa43a93b5e77ddcd0d│ ├── aa45bdd3887e43c0adafcef5edbe6132f90b1e4995177d9450208da30dd4b4b6│ ├── ac1c9c4c950cec6546482146f1ea5f9aa94437d917710cbba139ff4875c71713│ ├── ae0f2e7ff3511927689a4031d96d674553f6d9694a0787284221aaa165deadf3│ ├── b0b3c4c404da51002078e80e59d63221bdf1aeae86317a5ebeed39a58ce94877│ ├── ba0c2ff8d3620c0910832424efef02787214013b1c5b1d9dc9d87d638e2ceb71│ ├── bec9f481115c600b7a89684d6c7df852c8a3044106593bc780152fc8e864f36e│ ├── bf756fb1ae65adf866bd8c456593cd24beb6a0a061dedf42b26a993176745f6b│ ├── d3c94e01ac0d2850ce9c2506204aa408b54a692f231683aab74b9e2a62192067│ ├── d75082f1d121636c8a2546a2183597a239feb585bf0f6d3367468baca17f103a│ ├── da86e6ba6ca197bf6bc5e9d900febd906b133eaa4750e6bed647b0fbe50ed43e│ ├── e3dd0e49bca555d559ca2e97f06a1efa108ebd230fddcb17606723994f18ae3b│ ├── eb516548c180f8a6e0235034ccee2428027896af16a509786da13022fe95fe8c│ ├── f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a│ └── f87615ada079b93259b5e8e3bf354439373cfcbf41f8385df9afda9105c455f9└── metadata └── sha256 ├── 06298d9e08f809fa1e0d1d8aed6b45c91b06263ae2bf79facc254709a0816b61 │ └── parent ├── 0633993b5dfcc12185995f44ee2ed14b2182851a88d1c604c5b043be27c6f112 │ └── parent ├── 40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf │ ├── lastUpdated │ └── parent ├── 5ac750b5261527d0720f0926183a76f52e33eb0f71368b05c2fe4a481415108f │ └── parent ├── 62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8 │ └── lastUpdated ├── 6678c7c2e56c970388f8d5a398aa30f2ab60e85f20165e101053c3d3a11e6663 │ └── lastUpdated ├── 7c926cb4c20c8b4b60ac552cc475714b8a2d7df8830a470c119e94a8ff8425c2 │ └── parent ├── 7ffcec7b8dd8dd08855040f59871264dc3ca034556e06bfa245c9df98eef1572 │ └── parent ├── 9a4b698bff47c4b3df9a053e82e4eda633fffcfe8399c5fc8fa0358fc8e12546 │ └── parent ├── 9bdad03644c77f646425c50ea4aacfb146ee40dfeee6a40eff031c044deee5de │ └── lastUpdated ├── 9f3a39d15fb92be6ccd28cbae89d4edf100ec7968cf437aa43a93b5e77ddcd0d │ └── parent ├── d3c94e01ac0d2850ce9c2506204aa408b54a692f231683aab74b9e2a62192067 │ ├── lastUpdated │ └── parent └── f87615ada079b93259b5e8e3bf354439373cfcbf41f8385df9afda9105c455f9 └── parent17 directories, 52 files先看imagedb/content/sha256/{镜像ID}文件：
[root@k8s-master overlay2]# cat imagedb/content/sha256/f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a|python -m json.tool{ "architecture": "amd64", "config": { …… }, "Tty": false, "OpenStdin": false, "StdinOnce": false, "Env": [ …… ], "Cmd": [ "mysqld" ], "Image": "sha256:eeb4574531bba5f416e424e5af5f8833b1731cadddd08547366817a2099dee96", "Volumes": { "/var/lib/mysql": {} }, "WorkingDir": "", "Entrypoint": [ "docker-entrypoint.sh" ], "OnBuild": null, "Labels": null }, "container": "000ffa68848b6e618b1d24f5e906d14ff2123afd224ff28a67a8aaa1b6cbfa18", "container_config": { …… }, "Tty": false, "OpenStdin": false, "StdinOnce": false, "Env": [ …… ], "Cmd": [ "/bin/sh", "-c", "#(nop) ", "CMD [\"mysqld\"]" ], "Image": "sha256:eeb4574531bba5f416e424e5af5f8833b1731cadddd08547366817a2099dee96", "Volumes": { "/var/lib/mysql": {} }, "WorkingDir": "", "Entrypoint": [ "docker-entrypoint.sh" ], "OnBuild": null, "Labels": {} }, "created": "2020-12-21T20:34:44.202492422Z", "docker_version": "19.03.12", "history": […… ], "os": "linux", "rootfs": { "type": "layers", "diff_ids": [ "sha256:87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9", "sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac", "sha256:cb1c4d92429ddcbcbe3c43d2f4b8cea706cb47485f833c22aeb78725b593c8be", "sha256:614fbc08d1b2e529d6a4b6975b7d193a232efc49f3359923d7efb2cfa6d73e3e", "sha256:d4a3e8c51d197f372f9e1bba89eefe1c20e51ccb349211f9efbecc22ca64c95d", "sha256:d0425b5c07f61692b1720f23afd5cd9b07f0bbf2e8cb2e52dcb971c81524436f", "sha256:7d338559a103f8537c06b60bbda893b519f1d5f6ea7d79f2bd83a0cdee3c6120", "sha256:d8e44f98a95fceeba96085ff4c9661e0cddde510f44b8dfb6bf8be0296d2f198", "sha256:937609480ea5519ed11458ef62228d00d1948b8ecc98e2641f747799b3c65028", "sha256:7888c0a868da47885502aebf582a918a3d04cf670feea9281d990bf05239097f", "sha256:e3c6570b4ce19a9fb95d1e0e85ae22bcd46c8a6f13297b451774bf48ff4ae7f3" ] }}此文件主要内容为镜像的基本信息、环境变量、创建时间等。目前我们关注最后的rootfs这个key，可以看到这里他把镜像所涉及到的层都罗列出来了，使用的是diff_ids作为valus。
这里介绍一下相关的四个ID：
cacheID
由宿主机随即生成的一个uuid，根镜像层文件一一对应，用于宿主机标志和索引镜像层。文件镜像内容实际存放的位置，是一个随机值。diffID
镜像每层次内容的摘要，反映了单个层次内容的信息镜像层校验ID、根据该镜像层的打包文件校验获得parent
父镜像层的chainID(最底层不含该文件)chainID
docker内容寻址机制采用的索引ID，其值根据当前层和所有祖先层的diffID算得：若该镜像层是最底层，那么其chainID 和 diffID 相同否则，chainID=sha256(父层chainID " " 本层diffID)
这里各种ID比较多，不要记混了，注意区分，多去文件夹里看一下，多做区别。回到上面文件中的rootfskey中来：
"rootfs": { "type": "layers", "diff_ids": [ "sha256:87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9", "sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac", "sha256:cb1c4d92429ddcbcbe3c43d2f4b8cea706cb47485f833c22aeb78725b593c8be", "sha256:614fbc08d1b2e529d6a4b6975b7d193a232efc49f3359923d7efb2cfa6d73e3e", "sha256:d4a3e8c51d197f372f9e1bba89eefe1c20e51ccb349211f9efbecc22ca64c95d", "sha256:d0425b5c07f61692b1720f23afd5cd9b07f0bbf2e8cb2e52dcb971c81524436f", "sha256:7d338559a103f8537c06b60bbda893b519f1d5f6ea7d79f2bd83a0cdee3c6120", "sha256:d8e44f98a95fceeba96085ff4c9661e0cddde510f44b8dfb6bf8be0296d2f198", "sha256:937609480ea5519ed11458ef62228d00d1948b8ecc98e2641f747799b3c65028", "sha256:7888c0a868da47885502aebf582a918a3d04cf670feea9281d990bf05239097f", "sha256:e3c6570b4ce19a9fb95d1e0e85ae22bcd46c8a6f13297b451774bf48ff4ae7f3" ] }接下来就去找到这些层，最上面的层是底层。cd /var/lib/docker/image/overlay2/layerdb/sha256 ，我们发现在这个文件夹下有很多的文件夹，他们的结构是：
.├── chainID│ ├── cache-id //本镜像层在本地存储的位置│ ├── diff //本镜像层的diffID│ ├── parent //存储父镜像层的chainID│ ├── size //本镜像层的大小│ └── tar-split.json.gz //layer层数据tar压缩包的split文件该文件生成需要依赖tar-split，通过这个文件可以还原layer的tar包。在这里，我们前面介绍的四种ID全都出现了。在这个文件夹下，我们开始寻找最上层的ID：e3c6570b4ce19a9fb95d1e0e85ae22bcd46c8a6f13297b451774bf48ff4ae7f3，但是却没有找到。只有最底层的ID：87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9。这里涉及到一个存储的原理，在本地docker并不是使用diffID进行相关内容的存储，而是根据chainID进行存储，而chainID和diffID之间有一个计算的公式（没有父层则 chainID= diffID）。
c h a i n I D = s h a 256 ( p a r e n t − c h a i n I d 空 格 d i f f I D ) chainID = sha256(parent-chainId 空格 diffID) chainID=sha256(parent−chainId 空格 diffID)
而在这个/layerdb/sha256文件夹下都是以chainId为文件夹名保存的。所以我们找不到除最底层之外的层对应文件夹。为了验证这个说法下面进行一次hash计算得到文件夹的名称：
root@ubuntu:sha256# cat aff48ce4678f78d83d7e9bfb9e88cd951c3da52da08779e99b6082edd1cc66f3/diff sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac首先我们找到含有第二个层的文件夹（根据diffID去找）。
- 第二层的diffid：sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac
- 第二层的chainID：aff48ce4678f78d83d7e9bfb9e88cd951c3da52da08779e99b6082edd1cc66f3
- 第一层的chainID：87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9
接下来我们要验证的就是第一层的chainID 空格 第二层的diffdID做sha256=第二层的chainID。
经过验证，这个确实是成立的。
最后我们还剩下了layerdb/mounts文件夹内容。
root@ubuntu:layerdb# tree mounts/mounts/├── 47e5e13e4f692d5f6870de031d3bb1ffc3f99a9fa6e0931d62721f5cae0b8fca│ ├── init-id // init层在本地的存储位置│ ├── mount-id// 容器层在本地的存储位置│ └── parent└── c128b7ba12a5a208819b54b8c93e9cf4be289d3c9eb5fdfe243ee9845fde8389 ├── init-id ├── mount-id └── parent2 directories, 6 files我运行了两个容器（做MySQL主从复制），所以这个文件夹下只有两个文件夹。
未完……
赞 (0)