懒人专用:利用自动脚本清理不断增长的多余日志

本期跟运维有关

技术类型: Linux指令

应用平台: Centos

使用范围: 命令行/脚本

用到工具: vi

在我们常用的Linux服务器上, 每天由各种服务生成的日志文件有很多

如果不注意的话, 就有可能出现日志文件过大的问题,从而占用我们过多的磁盘空间

人工定时检查, 既费力又不讨好, 还容易错过处理时机,导致磁盘空间告急

程序员天生就是懒的, 所以我们来解决一下这个问题

Linux中有个sed 命令是利用脚本来处理文本文件。

sed 可依照脚本的指令来处理、编辑文本文件。

语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

在这里我们用到它的其中一个参数:

-i	此选项会直接修改源文件

先举个栗子, 我们准备一个简单的文本文件,用来模拟日志文件

试一下这么一条指令

'2d'中的d, 表示删除, 它会删除指定行中的所有内容

sed -i '2d' demo.txt

一行行删除, 这不符合我们的要求

一般日志记录, 最新的在后面, 旧的在前面

那么我们需要删除第1行至第5行要怎么做?

sed -i '1,5d' demo.txt

把刚才的demo.txt恢复一下, 方便展示效果

好, 有了这个后, 我们就可以来正式准备我们的脚本了

先创建自动化脚本

vi auto.sh

为了我们的自动脚本更聪明些, 我们先来定义一个方法

脚本文件内容, 这里我们清前3条试试

$(1) 表示是方法的第1个参数

#!/bin/bash
function cleanline(){
    sed -i '1,3d' ${1}
}

这样做的目的, 是当我们同时要管理(清理)多个日志文件时, 就很方便了

这样调用(写在方法下方), 注意日志文件要完整的路径

cleanline "/data2/logs/demo.txt"

给这个新的脚本文件执行权限

chmod +x auto.sh

恢复用来演示的demo.txt内容, 执行脚本

./auto.sh

到这里还有点问题, 为了我们的函数更健壮一些

我们需要考虑一下, 如果日志行数太少时, 就不要再清理, 其一删除可能会出错; 其二日志全清了不方便查看最近的日志,总要留一点不是么.

这个时候我们要借助awk命令来计算一下日志文件的行数, 以方便函数的判断执行

把刚才的函数进一步完善, 只有当大于5行时, 才删除多余的日志行内容

function cleanline(){
  count=$(awk 'END{print NR}' ${1})
  echo "${1} lines: ${count}"
  if [ $count -ge 5 ] ;then
    echo "${1} over 5 line"
    sed -i '1,3d' ${1}
  fi
}

执行看看效果

投入使用时, 可以参考这样的例子

#!/bin/bash
echo "clearing logs..."

#删除指定文件中的前5000行内容（文件行数超过7000行的话）
function cleanline(){
  count=$(awk 'END{print NR}' ${1})
  echo "${1} lines: ${count}"
  if [ $count -ge 7000 ] ;then
    echo "${1} over 7000 line"
    sed -i '1,5000d' ${1}
  fi
}

cleanline "/data/logs/nginx.log"
cleanline "/data/logs/db.log"
cleanline "/data/logs/java.out"

具体行数可以根据实际日志增长速度来设定

更进一步的可以把行数也通过参数传入, 这样cleanline函数就可以变得更通用

最后

把这个脚本放到自动任务里去, 这样:

crontab -e

添加一行, 让它每天凌晨1点执行一次

0 1 * * *       /root/auto.sh

结束

安逸了, 走, 省下来的时光摸鱼去

这期就酱,下期再见

复杂的问题简单化

每次只关注一个知识点

对技术有兴趣的小伙伴可以关注我, 我经常分享各种奇奇怪怪的技术知识