问题现场
lsof |grep deleted
java 29490 10351 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10351 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10351 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
java 29490 10352 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10352 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10352 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
java 29490 10353 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10353 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10353 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
java 29490 10354 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10354 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10354 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
java 29490 10357 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10357 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10357 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
java 29490 10358 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10358 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10358 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
java 29490 10359 admin 1w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10359 admin 2w REG 253,1 38599237662 660111 /home/admin/apps/service/ignite-gateway/output.log (deleted)
java 29490 10359 admin 17w REG 253,1 3180389 16149 /tmp/elasticapm-java-494ffd50-6b5c-421c-9fbb-ad4df3f7ed27.log.json (deleted)
[admin@VM-9-52-centos ignite-gateway]$ ps -ef| grep java
admin 10996 10838 0 14:34 pts/1 00:00:00 grep --color=auto java
admin 29490 1 2 Mar21 ? 17:22:38 /home/admin/java/jdk1.8/bin/java -javaagent:/home/admin/apps/elastic-apm-agent-1.18.1.jar -Delastic.apm.environment=test -Delastic.apm.service_name=igniteGateway -Delastic.apm.server_urls=http://10.51.99.32:8200 -Delastic.apm.application_packages=com -Xms128m -Xmx256m -DIGNITE_HOME=/home/admin/apps/service/ignite-gateway/igniteHome -Duser.home=/home/admin/apps/service/ignite-gateway -server -jar -Dfile.encoding=UTF-8 -Doracle.jdbc.remarksReporting=true /home/admin/apps/service/ignite-gateway/ignite-gateway-0.1.jar --spring.profiles.active=test
[admin@VM-9-52-centos ignite-gateway]$ kill -9 29490
[admin@VM-9-52-centos ignite-gateway]$ ps -ef| grep java
admin 11071 10838 0 14:34 pts/1 00:00:00 grep --color=auto java
[admin@VM-9-52-centos ignite-gateway]$ df -hT
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 909M 0 909M 0% /dev
tmpfs tmpfs 920M 24K 919M 1% /dev/shm
tmpfs tmpfs 920M 544K 919M 1% /run
tmpfs tmpfs 920M 0 920M 0% /sys/fs/cgroup
/dev/vda1 ext4 50G 8.8G 39G 19% /
tmpfs tmpfs 184M 0 184M 0% /run/user/0
在Linux，你是不是曾经天真的以为，使用rm删除一个文件，占用的空间就释放了？事情可能不是常常如人意。
产生一个指定大小的随机内容文件
我们先看一下当前各个挂载目录的空间大小：
$ df -h
/dev/sda11 454M 280M 147M 66% /boot
我这里挑选了其中一个结果展示（你可以选择任意挂载目录），接下来准备在/boot下生成一个文件。
首先我们产生一个50M大小的文件：
$ dd if=/dev/urandom of=/boot/test.txt bs=50M count=1
至此，我们产生了一个50M大小的文件，再看boot下：
$ df -h
/dev/sda11 454M 312M 115M 74% /boot
这里你不用关心到底多了多少，你只需要关注，/boot下的文件增多了。
测试程序：
#include<stdio.h>
#include<unistd.h>
int main(void)
{
FILE *fp = NULL;
fp = fopen("/boot/test.txt", "rw+");
if(NULL == fp)
{
perror("open file failed");
return -1;
}
while(1)
{
//do nothing
sleep(1);
}
fclose(fp);
return 0;
}
至于程序本身，也没干啥实际的事情，就是打开一个文件，然后一直循环。编译并运行：
$ gcc -o openFile openFile.c
$ ./openFile
打开另外一个窗口，删掉test.txt：
$ rm /boot/test.txt
再看一下boot空间：
$ df -h
dev/sda11 454M 312M 115M 74% /boot
咦？空间大小怎么一点都没变！！明明使用rm把它删除了啊？
我们把openFile程序停掉，再看看：
$ df -h
/dev/sda11 454M 280M 147M 66% /boot
乖乖，空间马上就释放掉了，也就是按照预期，我们的文件被删除了。
一个文件什么情况下才会被删除？
实际上，只有当一个文件的引用计数为0（包括硬链接数）的时候，才可能调用unlink删除，只要它不是0，那么就不会被删除。所谓的删除，也不过是文件名到 inode 的链接删除，只要不被重新写入新的数据，磁盘上的block数据块不会被删除，因此，你会看到，即便删库跑路了，某些数据还是可以恢复的。换句话说，当一个程序打开一个文件的时候（获取到文件描述符），它的引用计数会被+1，rm虽然看似删除了文件，实际上只是会将引用计数减1，但由于引用计数不为0，因此文件不会被删除。
struct inode {
struct hlist_node i_hash; /* hash链表的指针 */
struct list_head i_list; /* backing dev IO list */
struct list_head i_sb_list; /* 超级块的inode链表 */
struct list_head i_dentry; /* 引用inode的目录项对象链表头 */
unsigned long i_ino; /* 索引节点号 */
atomic_t i_count; /* 引用计数 */
unsigned int i_nlink; /* 硬链接数目 */
关于里面的细节，还有很多内容（如硬链接数量也会影响文件是否被删除），这里不一一展开。
如何释放已经被删除文件占用的空间？
关于释放，前面已经说了，重启打开该文件的进程即可。但是有没有方法找到哪些文件被删除了，但还是被某些进程打开了呢？
自然是有方法的：
$ lsof |grep deleted
其中被标记为deleted的文件，就是这样的一些文件。
其实在前面的例子中，我们也可以很容易观察到(openFile程序运行，test.txt文件被删除)：
$ ls -al /proc/`pidof openFile`/fd
total 0
lrwx------ 1 root root 64 5月 4 09:27 0 -> /dev/pts/25
lrwx------ 1 root root 64 5月 4 09:27 1 -> /dev/pts/25
lrwx------ 1 root root 64 5月 4 09:27 2 -> /dev/pts/25
lrwx------ 1 root root 64 5月 4 09:27 3 -> /boot/test.txt (deleted)
看见没有，test.txt后面还有deleted字样。
既然我们都说了，这样的情况下文件是没有被删除的，那么还能不能恢复呢？实际上还是可以读取的。
总结
实际上对于这种文件被删除了，常常出现于程序的日志文件中，可能你有一个定时任务去清理程序产生的日志文件，但是如果程序本身忘记关闭句柄，就会导致磁盘空间得不到释放，最终就是你认为文件都被删除了，但是磁盘却依然被占着。所以，养成好习惯，打开文件后，不用时，记得关闭文件描述符。
如果发现明明已经删除了大量文件，但是空间却并没有恢复正常，那么不妨看看是不是还有程序打开了这些文件。
