当前位置：首页 > news >正文

sed-awk-正则表达式

news 来源：原创 2024/5/2 13:09:16

本节内容

正则表达式

sed

awk

正则表达式，又称正规表示法，常规表示法（英语：Regular Expression），在代码中常写为regex、regexp 或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。

是指一个用来描述或匹配一系列符合某个句法规则的字符的那个字符串

用某种模式去匹配一类字符串。

使用grep

-v 不匹配

-n 显示行号

1.正则表达式中特殊字符

（1） ^word : 待搜寻的字符串（word）在行首！

搜寻“root”开始的行：

例：

[root@xuegod63tmp]# grep root passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

[root@xuegod63tmp]#

[root@xuegod63tmp]# grep ^root passwd

root:x:0:0:root:/root:/bin/bash

（2）word$ : 搜寻以字符串（word）结尾的行

搜寻“bash” 结尾的行：

例：

[root@xuegod63tmp]# grep bash$ passwd

root:x:0:0:root:/root:/bin/bash

zhh:x:500:500:zhh:/home/zhh:/bin/bash

mysql:x:27:27:MySQLServer:/var/lib/mysql:/bin/bash

（3） \ : 将特殊符号的特殊意义去除

例：搜寻包括单引号 ' 的行，并把行号也打印出来

[root@xuegod63tmp]# grep \' passwd

'p'x:4:7:lp:/var/spool/lpd:/sbin/nologin

'p:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@xuegod63tmp]# grep -n --color \' /tmp/passwd

（4） * ：重复零个　到无穷多个的前一个字符

搜寻包括ｓｐ，后面ｏ重复２次以上的行。记得要写两个ｏ

[root@xuegod63tmp]# grep spoo* passwd

（５）　[list] ：字符集合，里面列出想要选择的字符

搜寻包括 ga 或者 go的行：

[root@xuegod63tmp]# grep g[ao] /tmp/passwd

games:x:12:100:games:/usr/games:/sbin/nologin

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin

（6）搜寻不以#号开头的行

[root@xuegod63tmp]# grep ^# passwd #以井号开头的

#root:x:0:0:root:/root:/bin/bash

#bin:x:1:1:bin:/bin:/sbin/nologin

[root@xuegod63tmp]# grep ^[^#] passwd # 不以井号开头的

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

uucp:x:10:14:uu'p:/var/spool/uucp:/sbin/nologin

（7） [n1-n2]: 字符集合，里面列出包括的字符范围

1搜寻含有数字的3和4的行

[root@xuegod63tmp]# grep [3-4] passwd --color

#adm:x:3:4:adm:/var/adm:/sbin/nologin

#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

#'p'x:4:7:lp:/var/spool/lpd:/sbin/nologin

2找出开头为小写字母的行

[root@xuegod63tmp]# grep ^[a-z] passwd #搜寻以a到z开头的行

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

搜不以字母a 到 z 开头的行

[root@xuegod63tmp]# grep ^[^a-z] passwd

#root:x:0:0:root:/root:/bin/bash

#bin:x:1:1:bin:/bin:/sbin/nologin

[root@xuegod63tmp]# grep ^[^a-zA-Z] passwd

显示空白行及行号：

[root@xuegod63tmp]# grep -n ^$ passwd

35:

3.正则表达式中 “.”代表绝对有一个任意字符的意思：而“*”代表重复前一个到无穷次的意思

任意长度的字符表示方法： .*

寻找 r开头和 t 结束且长度为四个字符的行：

[root@xuegod63tmp]# grep r..t passwd --color

#root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

ftp:x:14:50:FTPUser:/var/ftp:/sbin/nologin

以root开头

[root@xuegod63tmp]# grep ^r..tpasswd --color

root:x:0:0:root:/root:/bin/bash

寻找oo,ooo,oooo等等的数据，也就是说，至少要有两个o以上：

[root@xuegod63tmp]# grep ooo* passwd --color

root:x:0:0:root:/root:/bin/bash

#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

'p'x:4:7:lp:/var/spool/lpd:/sbin/nologin

寻找 g 开头和 g 结束的字符串，中间可有可无。

[root@xuegod63tmp]# grep ^g.*g$ passwd

glp:x:4:7:lp:/var/spool/lpd:/sbin/nologig

sed

stremeditor 流编辑器

sed编辑器是一行一行的处理文件内容的。正在处理的内容存放在模式空间（缓冲区）内，处理完成后按照选项的规定进行输出或文件的修改。

sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed 主要用来自动编辑一个或多个文件；简化对文件的反复操作；

语法：

sed[options] '[command]' [filename]

options:

-n 抑制自动（默认的）输出*** 读取下一个输入行

-e 执行多个sed指令

-f 运行脚本

-i 编辑文件内容***

-i.bak编辑的同事创造 .bak 的备份

-r 使用扩展的正则表达式 ***

command：

a 在匹配后追加 ***

i 在匹配后插入 ***

p 打印 ***

d 删除 ***

r/R读取文件/一行

w 另存

s 查找

c 替换

y 替换

h/H（复制）拷贝/追加模式空间（缓冲区）到存放空间

g/G （粘贴）从存放空间取回/追加到模式空间

x 两个空间内容的交换

n/N拷贝/追加下一行内容到当前

D 删除 \n 之前的内容

p 打印 \n 之前的内容

b 无条件跳转

t 满足匹配后的跳转

T 不满足匹配时跳转

例子：

1显示文件第三行

[root@xuegod63tmp]# sed -n '3p' passwd

#daemon:x:2:2:daemon:/sbin:/sbin/nologin

2显示前三行

[root@xuegod63tmp]# sed -n '1,3p' passwd

root:x:0:0:root:/root:/bin/bash

#bin:x:1:1:bin:/bin:/sbin/nologin

#daemon:x:2:2:daemon:/sbin:/sbin/nologin

3显示文件除前三行之外的全部内容

[root@xuegod63tmp]# sed -n '1,3!p' passwd

#adm:x:3:4:adm:/var/adm:/sbin/nologin

glp:x:4:7:lp:/var/spool/lpd:/sbin/nologig

'p'x:4:7:lp:/var/spool/lpd:/sbin/nologin

#'p:x:4:7:lp:/var/spool/lpd:/sbin/nologin

....

4显示文件第三行和之后的三行

[root@xuegod63tmp]# sed -n '3,+3p' passwd

#daemon:x:2:2:daemon:/sbin:/sbin/nologin

#adm:x:3:4:adm:/var/adm:/sbin/nologin

glp:x:4:7:lp:/var/spool/lpd:/sbin/nologig

'p'x:4:7:lp:/var/spool/lpd:/sbin/nologin

在文件开头插入 ******

[root@xuegod63tmp]# sed '1i******' passwd | more

如果想保存需要重定向

sed '1i******' passwd > a.txt

在文件结尾追加 “@@@”

[root@xuegod63tmp]# sed '$a@@@' passwd >a.txt

把文件第三行替换成“qiutiandeyu”

[root@xuegod63tmp]# sed '3c qiutiandeyu' passwd

root:x:0:0:root:/root:/bin/bash

#bin:x:1:1:bin:/bin:/sbin/nologin

qiutiandeyu

复制粘贴

把文件的第二行到第四行复制到文件的末尾

[root@xuegod63tmp]# sed '2,4H;$G' passwd

sed中的正则：

^ $ . *

例子：

1删除空行 d 删除

[root@xuegod63tmp]# sed '/^$/d' passwd > a.txt

把fstab 中包含 ext4 的记录（行）写入新的文件中

[root@xuegod63tmp]# sed '/ext4/w newfstab' /etc/fstab

[root@xuegod63tmp]# cat newfstab

UUID=bcb13b44-26f0-4f00-ac7c-71387b41c6ac/ ext4 defaults 1 1

UUID=d4382c26-3adc-4f0b-a754-e1c85ff5a1dd/boot ext4 defaults 1 2

awk

awk是一种优良的文本处理工具，Linux 及 Unix 环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称得自于它的创始人阿尔佛雷德.艾候、彼得.温伯格和布莱恩.柯林汉姓氏的首个字母）的最大功能取决于一个人所拥有的知识。awk 是Alfred Aho Per Weinberger 和

brianKernighan 三个人姓的缩写。

最简单的说，AWK是一种用于处理文本的编程语言工具。

任何awk语句都是由模式和动作组成，一个awk脚本可以有多个语句。模式决定动作语句的触发条件和触发时间。

特殊字段：

BEGIN语句设置计数和打印头部信息，在任何动作之前进行。END语句输出统计结果，在完成动作之后执行

分隔符默认是空格，可以用-F，改变成逗号为分隔符-F，改成冒号 -F：

安装软件：

[root@xuegod63 ~]# rpm -qf `which awk`

gawk-3.1.7-10.el6.x86_64

例子：

1自定义年月日的显示方式：

Year:2016 month:Fri days:7