当前位置：首页 > news >正文

Datadomain存储上的文件大小,linux环境建议使用du -sh --apparent-size或ll -sh来查看

news 来源：原创 2024/9/20 13:47:20

发现一个有趣的现象，linux服务器挂载了DELL的Datadomain存储，有一个文件大小是424MB，这个文件在linux服务器本地路径上占用磁盘空间也是424MB，但是把这个文件拷贝到Datadomain存储路径，发现这个文件在Datadomain存储路径上占用磁盘空间只有27MB。查看Datadomain文档了解到Datadomain存储有压缩功能参见官方文档https://www.dell.com/support/kbdoc/en-us/000003886/86266-understanding-datadomain-compression，只要文件成功存放到了Datadomain存储路径就说明这个文件已经被Datadomain压缩了，Data Domain系统利用重复数据删除和本地压缩来压缩用户数据。重复数据删除或“重复数据删除”用于识别冗余数据段并仅存储唯一的数据段。本地压缩通过一定的压缩算法，如lz、gzfast、gz等进一步压缩特有的数据段。

一个文件占用的磁盘空间和一个文件的实际大小是不一样的概念，文件占用的磁盘空间和磁盘的文件系统块大小和文件是否被压缩有关，比如一个文件系统的块大小是4KB(Linux当中一般默认是4k即4096)，一个文件系统的块大小是10MB，那么一个大小是1B的文件在4KB的文件系统块中占用磁盘空间是4KB，这个1B的文件在10MB的文件系统块中占用磁盘空间是10MB 占用的磁盘空间的大小是取决于文件系统的块（block）的大小

du -sh :显示文件存储到磁盘中占用了多少空间，计算的是占了多少个block
du -sh --apparent-size :显示文件或目录自身大小,而不是它们占用的磁盘空间大小
ls -lh :显示文件的实际大小
ls -h --human-readable: with -l, print sizes in human readable format(e.g., 1K 234M 2G)

root@Mydb001:~# df -h
Filesystem                                                 Size  Used Avail Use% Mounted on
/dev/mapper/ubuntu--vg-ubuntu--lv                          492G  119G  353G  26% /
tmpfs                                                      7.9G     0  7.9G   0% /dev/shm
/dev/sda2                                                  976M  207M  703M  23% /boot
boostfs                                                    376T  331T   45T  89% /mnt/datadomaindir
root@Mydb001:~#
root@Mydb001:~# ll /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
-rw-r----- 1 systemd-resolve systemd-journal 444226041 Jul  8 20:12 /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
root@Mydb001:~#
root@Mydb001:~# ll -sh /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
27M -rw-r----- 1 systemd-resolve systemd-journal 424M Jul  8 20:12 /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
root@Mydb001:~#
root@Mydb001:~# du -sh /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
27M     /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
root@Mydb001:~#
root@Mydb001:~# du -sh --apparent-size /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
424M    /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip
root@Mydb001:~#
root@Mydb001:~# pwd
/root
root@Mydb001:~# cp /mnt/datadomaindir/clickhouse_backup/Stage/Mydb001/20240708/shared.zip ./
root@Mydb001:~#
root@Mydb001:~# ll /root/shared.zip
-rw-r----- 1 root root 444226041 Jul  8 23:54 /root/shared.zip
root@Mydb001:~#
root@Mydb001:~# ll -sh /root/shared.zip
424M -rw-r----- 1 root root 424M Jul  8 23:54 /root/shared.zip
root@Mydb001:~#
root@Mydb001:~# du -sh /root/shared.zip
424M    /root/shared.zip
root@Mydb001:~#
root@Mydb001:~# du -sh --apparent-size /root/shared.zip
424M    /root/shared.zip
root@Mydb001:~#