Linux文本三剑客:grep/sed/awk组合技，解决90%文本处理难题

gudong366 2025-07-24 20:50 7 浏览

一、grep：文本世界的"探照灯"

当你面对GB级日志文件大海捞针时，grep就是那盏精准的探照灯。--color=auto参数能让匹配内容瞬间穿上"红马甲"，在黑底白字的终端里格外醒目——想象一下在漆黑的电影院里突然打开手电筒，目标文本就是那个被照亮的主角。

比如排查Nginx错误日志时，grep -r --color=auto "500" /var/log/nginx/会把所有服务器错误标红。更贴心的是-A 3 -B 2参数组合，能同时显示匹配行的前2行上下文和后3行追踪信息，相当于不仅告诉你"凶手是谁"，还附赠案发前的可疑举动和逃跑路线。

二、sed：文本流的"手术刀"

如果说grep是侦探，那sed就是精于微操的外科医生。它的行范围操作堪称一绝：sed -n '5,10p' access.log能精准提取第5-10行日志，sed '1,20d' config.ini则像橡皮擦一样擦除配置文件的前20行注释。

最强大的"微创手术"当属分组替换。处理杂乱的CSV数据时，sed 's/^$[0-9]*$,$[A-Za-z]*$$/\2_\1/' data.csv能把"123,apple"变成"apple_123"，括号里的$pattern$就像手术钳精准夹住目标，\1和\2则是灵巧的缝合线。

三、awk：数据处理的"计算器"

awk堪称文本界的Excel，列处理能力让它在数据分析时如鱼得水。提取进程ID只需ps aux | awk '{print $2}'，$2就像指着表格第二列说"就要它"。

更厉害的是它的计算能力。统计日志中不同IP的访问次数：awk '{count[$1]++} END {for(ip in count) print ip, count[ip]}' access.log，这段代码像个不知疲倦的会计，默默给每个IP画"正"字计数。

四、三剑合璧：复杂任务的"组合拳"

单独使用已是高手，联手更能解决史诗级难题。比如分析电商日志中支付失败的用户分布：

# 1. grep筛选支付失败记录并高亮关键词
# 2. sed提取用户ID和地区字段
# 3. awk统计各地区失败次数
grep --color=auto "payment_failed" order.log | \
sed -n 's/.*user_id=\([0-9]*\).*region=\([A-Z]*\).*/\1,\2/p' | \
awk -F ',' '{region[$2]++} END {for(r in region) print r, region[r]}'

这套组合拳先由grep定位目标日志，sed像精密筛子过滤出关键字段，最后awk汇总统计，整个过程行云流水，比用Python写脚本快10倍不止。

实战技巧锦囊

grep防坑：-i参数忽略大小写，但在匹配URL时慎用，可能误判"HTTP"和"http"
sed安全操作：添加-i.bak生成备份文件，避免sed -i直接修改导致数据丢失
awk分隔符：处理非空格分隔的数据时，用-F ','指定分隔符，比如CSV文件

掌握这三把利剑，你会发现曾经需要写200行Python的文本处理任务，现在一条命令就能搞定。就像Linux老炮常说的："给我grep、sed、awk，再加个管道符，没有处理不了的文本。"

linux计数

上一篇：AWK 语法速查表(Linux 文本处理工具实用指南)
下一篇：Linux信号量(2)-POSIX 信号量（linux信号量与pv操作实验）

Linux文本三剑客:grep/sed/awk组合技，解决90%文本处理难题

一、grep：文本世界的"探照灯"

二、sed：文本流的"手术刀"

三、awk：数据处理的"计算器"

四、三剑合璧：复杂任务的"组合拳"

实战技巧锦囊

相关推荐

聊一下操作系统 macOS 与 Linux

Linux文件夹及其子文件夹和文件权限修改方法

Linux网络诊断神器:ping、fping和gping三个命令有啥区别?

2021Java最新学习路线图新鲜出炉

Linux系统查看java线程的具体方法

Linux系统怎么后台运行jar项目和关闭jar项目的方法

iperf3网络性能测试工具及完整版教程

如何在 Linux 中检查网络接口详细信息?

在linux系统下运行 .net core 程序

每日一个Linux命令解析——renice