一个清理脚本的改进思路(r5笔记第51天)

前几天同事问我一个问题，说在unix环境下有个目录下的文件/文件夹太多了，已经报了开始报系统错误了，客户希望能够定时进行这些目录的清理。我连到那个环境去查看，ls都需要等待很长时间没有反应，最后尝试使用find命令，根据文件名来查找的时候反应才相对要快一些。同事计划使用crontab来实现。使用的命令大体如下：59 23 1 1,4,7,10 * find /xxxx/tmp -mtime +90 -type d -print|xargs rm –rf

其中关键的地方是使用了xargs，根据我之前的测试，发现xargs在大批量的文件过滤时，效果还是不能让人满意的，而且在命令最后接入rm -rf，如果出现什么纰漏，那影响可就大了。

根据分析，发现其实在几个目录下药删除的文件目录命名规则都比较固定。比如是20141201的日志，命名就类似下面的形式。container-default-instanceJob-201412001_xxxxxx其中变化的部分主要是时间的部分，所以决定使用find -name的方式效果要好一些，但是find -name结合xargs的时候如果文件比较多，删除的时候还是有问题，而且rm -rf的潜在隐患还是有。一种比较直接的方式就是我们生成对应的文件目录名，如果匹配，则删除，如果不匹配，也不会报出错误。比方说我们根据需要删除字2014年12月1日起某些天的记录，则可以手工指定对应的文件名和时间戳。rm -rf /xxxx/tmp/container-default-instanceJob-20141202*rm -rf /xxxx/tmp/container-default-instanceJob-20141203*rm -rf /xxxx/tmp/container-default-instanceJob-20141204*rm -rf /xxxx/tmp/container-default-instanceJob-20141205*rm -rf /xxxx/tmp/container-default-instanceJob-20141206*rm -rf /xxxx/tmp/container-default-instanceJob-20141207*这种方式会避免不少的问题，删除速度是没有问题的。而且可以避免很多意外的情况。但是缺点就是太手动了，感觉没什么技术含量。我们来把这个过程自动化一下。能够动态生成对应的文件目录名，每次运行之后都会把基准的时间重新调整。比如我们删除60天的记录，假设起始时间为20141201,则60天后就是20150130，第二次运行这个命令就会把起始时间自动调整为20150130，终止时间就是20150331了。第一次运行命令后，生成的删除命令为：rm -rf /xxxx/tmp/container-default-instanceJob-20141202*....rm -rf /xxxx/tmp/container-default-instanceJob-20150130*第二次运行同样的命令，生成的删除命令为：rm -rf /xxxx/tmp/container-default-instanceJob-20150130*....rm -rf /xxxx/tmp/container-default-instanceJob-20150331*这种方式就比较动态了，而且删除起来也是一个很稳定的过程。首先采用shell的形式写了如下的脚本。GetIncDate(){ L_DAY=$1 days=$2 L_TODAY=$(printf "%(%Y%m%d)T\n" "${L_DAY}0000 + ${days} day") print ${L_TODAY}} function gen_clean_script{for i in {1..$duration}doecho 'rm -rf /xxxxx/tmp/container-default-instanceJob-'`GetIncDate $initdate $i` >> gen_clean_script.shdone}这种方式基于Linux环境实现，可以灵活的使用date命令的选项进行时间的计算。但是问题来了，在Linux下可行的方案在unix底下没有那些个命令选项。也就是说这个shell脚本在unix下运行不了。问题还是基于一些命令的兼容性。最后尝试把时间的计算用sql来实现，这样也不会存在平台的限制。写出的基于sql计算时间的shell脚本如下：function gen_clean_script{conn_str=$3print "conn $conn_strset linesize 200set serveroutput onset feedback offbeginfor i in 1..$2 loopdbms_output.put_line('rm -rf /xxxxx/tmp/container-default-instanceJob-'||to_char(to_date('$1','yyyymmdd')+i,'yyyymmdd')||'*');end loop;end;/" |sqlplus -s /nolog > gen_clean_script.sh}function get_next_date{conn_str=$3print "conn $conn_strset serveroutput onset feedback offbegindbms_output.put_line(to_char(to_date('$1','yyyymmdd')+$2,'yyyymmdd'));end;/" |sqlplus -s /nolog > init.date}conn_str=n1/n1@xxxxduration=60if [[ ! -s init.date ]] ;thenecho '***********************************************'echo '20141201' > init.dateinitdate=20141201echo $initdateecho '***********************************************'elseinitdate=`cat init.date`figen_clean_script $initdate $duration $conn_strget_next_date $initdate $duration $conn_strcat gen_clean_script.sh 问题的解决就有了一种相对比较可行的思路，这种方案有一个缺点就是需要连接数据库，不过对于数据库用户的配置没有其它要求，只要能运行sql查询即可。