Linux-Shell三剑客grep，awk，sed-08
awk、grep、sed是linux操作文本的三大利器，合称文本三剑客，也是必须掌握的linux命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属awk功能最强大，但也最复杂。grep更适合单纯的查找或匹配文本，sed更适合编辑匹配到的文本，awk更适合格式化文本，对文本进行较复杂格式处理。
一、grep命令
在Linux 系统中 grep 命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是 Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。
1.1 基本语法
grep [option] pattern file# 管道命令一起
命令 | grep xxxx常用的参数
| 常用选项 | 释义 |
|---|---|
| -i | 忽略大小写进行匹配。 |
| -v | 反向查找，只打印不匹配的行。 |
| -n | 显示匹配行的行号。 |
| -r | 递归查找子目录中的文件。 |
| -l | 只打印匹配的文件名。 |
| -c | 只打印匹配的行数。 |
| -w | 只匹配整个单词，而不是部分匹配。 |
| -o | 只显示匹配的部分，而不是整行。 |
| -A n | 显示匹配行及后面n行的内容。 |
| -B n | 显示匹配行及前面n行的内容。 |
| -C n | 显示匹配行及前后各n行的内容。 |
| -e pattern | 指定多个匹配模式。 |
| -E | 使用扩展正则表达式进行匹配。 |
| -F | 将模式视为固定字符串而不是正则表达式。 |
1.2 使用举例
准备文件test
忽略大小写查询
找到w的后两行
找到2的前两行
输出匹配到的行数
实现多个匹配之间的或关系，查找包含w或者p的
二、sed命令
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作
2.1 基本语法
sed [-nefri] ‘command’ 输入文本 选项说明
-n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。 -e∶直接在指令列模式上进行 sed 的动作编辑； -f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作； -r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法) -i∶直接修改读取的档案内容，而不是由屏幕输出。
动作说明
a ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ c ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ d ∶删除，因为是删除啊，所以 d 后面通常不接任何内容； i ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)； p ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～ s ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g
2.2 使用举例
定义文件test，内容如下
HELLO LINUX!
Linux is a free unix-type opterating system.
This is a linux testfile!
Linux test
2.2.1 增加内容
**增加一行**
# 在test文件的第一行后面追加上 aaaaaaaa
sed '1a aaaaaaaa' test 
注意：只是将文字处理了，没有写入到文件里，文件里还是之前的内容。
发现文件的内容并没有发生任何的变化
**增加多行**
在一行到第三行的后面追加上bbbbbbbb
2.2.2 插入内容
在最后一行插入byebye
直接写入文件的化可以选择使用i的参数
3.2.3 删除内容
删除的字符是d，用法跟前面也很相似，对匹配到的数据行，进行删除。
sed '1d' test #删除第一行 sed '$d' test #删除最后一行sed '1,2d' test #删除第一行到第二行sed '2,$d' test #删除第二行到最后一行sed '/Linux/d' test删除最后一行
2.2.4 替换内容
整行替换
c 针对匹配到的整行内容替换为指定字符串
将含有linux的那一行替换为xuecheng
语法:sed '/原来的字符/c 新字符' 文件的名字sed '/linux/c xuecheng' test 将存在Linux的一行全部替换
只替换存在liunx的字段
2.2.5 日志截取
首先在我们的这个路径下随便找一个日志文件,我们根据时间段来截取部分日志信息
sed -n '/时间段/,/时间段/p' logfile
三、awk命令
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符linux中有三剑客之称：三剑客之首就是 AWK三剑客功能:
grep ： 过滤文本
sed : 修改文本
awk : 处理文本
awk只要是用来格式化文本
3.1 基本语法
awk [参数] [处理内容] [操作对象] 参数说明
| 参数 | 说明 |
|---|---|
| -F separator | 指定字段分隔符。 |
| -f file | 从指定的文件中读取程序 |
| -v var=value | 定义awk程序中的一个变量及其默认值 |
| -mf N | 指定要处理的数据文件中的最大字段数 |
| -mr N | 指定数据文件中的最大数据行数 |
| -W keyword | 指定awk的兼容模式或警告等级 |
3.2 使用举例
3.2.1 从命令行读取程序脚本
awk 动作 文件名准备一个文件test
**'{}'打印**
打印第二列的内容
打印第一列和第四列的内容
查找以This开头的行
查找以awk为结束的行 
匹配的就是严格以This开头的内容。
使用数据字段变量
awk会将如下变量分配给它在文本行中发现的数据字段(列)：
-
$0代表整个文本行；
-
$1代表文本行中的第1个数据字段；
-
$2代表文本行中的第2个数据字段；
-
$n代表文本行中的第n个数据字段。
-
!: 逻辑非
-
~ : 进行正则匹配(类似于关系表达式)
查找不包含is关键字的内容
包含is的
3.2.2 变量
wk中有不少内置的变量，比如$NF代表的是分割后的字段数量，相当于取最后一个。
NF: number filed 当前行分割后的字段个数。打印的时候，是取出最后一列
NR: number row 表示当前第几行、
列出最后一列
输出当前行有几列，以及当前是第几行
其他的内置变量还有：
| 变量名 | 说明 |
|---|---|
| FILENAME：当前文件名 | |
| FS | 字段分隔符，默认是空格和制表符。 |
| RS | 行分隔符，用于分割每一行，默认是换行符。 |
| OFS | 输出字段的分隔符，用于打印时分隔字段，默认为空格。 |
| ORS | 输出记录的分隔符，用于打印时分隔记录，默认为换行符。 |
| OFMT | 数字输出的格式，默认为％.6g。 |
3.2.3 函数
awk还提供了一些内置函数，方便对原始数据的处理。主要如下：
toupper()：字符转为大写。
tolower()：字符转为小写。
length()：返回字符串长度。
substr()：返回子字符串。
sin()：正弦。
cos()：余弦。
sqrt()：平方根。
rand()：随机数。将所有的，转为大写输出
3.2.3 条件
awk允许指定输出条件，只输出符合条件的行。输出条件要写在动作的前面：
awk '条件 动作' 文件名
还是刚才的例子，用逗号分隔之后有好几个空白行，我们加上限制条件，匹配后为空的不显示：
[root@localhost ~]# awk -F, '$2!="" {print $2}' test
apple3.2.3.1 if 语句
awk提供了if结构，用于编写复杂的条件。比如:
[root@localhost ~]# awk '{if ($2 > "t") print $1}' test
2将第一列内容大于2的行输出:
[root@localhost ~]# awk '{if($1>'2') print $0}' test
3 Are you like awk
This's a test
10 There are orange,apple,mongo
这一句的完整含义应该是：把每一行按照空格分割之后，如果第二个单词大于t，就输出第一个单词。这里对字符的大小判断应该是基于字符长度和 unicode 编码。