Linux数据处理
主要内容
1. 数据检索
常和管道协作的命令 – grep
grep:用于搜索模式参数指定的内容，并将匹配的行输出到屏幕或者重定向文件中，常和管道协作的命令 – grep。
还有egrep和fgrep两个命令。
egrep可以使用扩展的正则表达式
fgrep没有元字符与普通字符的区别
grep egrep用别名加了—color之后才好理解。
grep, egrep, fgrep - print lines matching a pattern
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
| 命令语法
grep [OPTIONS] PATTERN [FILE...]
命令选项
-r 递归
-v 反取
-i 忽略大小写
-n 显示行号
-c 计数
-w 匹配一个词
-l 只给出匹配的文件名
-L 列出不匹配的文件名
-o 只列出匹配的内容
-E 支持扩展的正则表达式
-q 在标准输出中不输出任何内容，即静默模式
PATTERN
匹配字符串
example
对文件夹的操作
grep -r "root" /etc 递归检索/etc下所有文件中包含root的文件
grep -l -r "root" /etc 列出包含 root字符串的文件名
grep -L -r "root" /etc 列出不包含root字符串的文件名
对文件的操作
grep "root" /etc/passwd 找出文件中包含字符串root的行
grep -v "root" /etc/passwd 找出文件中不包含字符串root的行
grep -n "root" /etc/passwd 找出文件中包含字符串root的行,并显示行号
grep -c "root" /etc/passwd 统计文件中包含字符串root的行数
grep -w "root" /etc/passwd 匹配的字符串必须是一个完整单词 而不是包含
grep -o "root" /etc/passwd 只显示匹配的内容
grep -q "root" /etc/passwd 只匹配不输出
可以使用$?来监测结果，一般脚本中使用较多
[root@www ~]
[root@www ~]
0
[root@www ~]
[root@www ~]
|
上一个命令的输出作为下一个命令的输入
cat /etc/passwd | head -2
2. 数据排序
sort - sort lines of text files
1
2
3
4
5
6
7
| -n 按数字排序
-r 反序排序
-o 结果输出到文件
-t 分隔符 sort -n -t: -k3 /etc/passwd
-k 关键字 （按照指定列来排序）
example:
ps -a -o comm,vsz,rss,pmem |sort -nr -k 3
|
3. 数据去重
常和管道协作的命令 - uniq
uniq - report or omit repeated lines
1
2
3
4
5
6
| -c 每行出现的次数
-d 仅显示重复行
-u 仅显示不重复行
-i 忽略大小写
-f N 跳过前面N个部分 (空格分开)
-s N 跳过前面N个字符 (一般字符)
|
4. 重定向
> 重定向输入
>> 重定向追加
< 重定向输出
<< 重定向追加输出
1
2
3
4
5
6
7
8
9
| linux中使用
0 代表标准输入 stdin
1 代表标准输出 stdout
2 代表标准错误输出 stderr
把输入输出和重定向混合使用。
2>把标准错误流重定向到文件中。
2>&1或>&把标准错误流与标准输出流结合在一起。
2>>是什么情况？
2>&1的意思是，“把标准错误传送到标准输出要去的任何位置”。
|
