tongsiying

阅读|运动|自律

0%

sort

前言

将每个指定文件里的每一行整合到对应一行里写到标准输出,之间用制表符分隔。如果没有指定文件,或指定文件为”-“,程序将从标准输入读取数据。

1. 命令格式

1
2
3
sort [选项]... [文件]...
 或
sort [选项]... --files0-from=F

2. 命令参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
长选项必须使用的参数对于短选项时也是必需使用的。
常用:
sort:
1.-t 指定文本分隔符 
2.-k 指定排序列 
3.-n 按数字进行排序 
4.-r 翻转排序结果 
5.-g 科学记数法方式比较
6.-o 设置输出文件,与“>”相比可以设置输出到原文件,“>”会清空原文件
7.-u 删除相同行

排序选项:
-b, --ignore-leading-blanks 忽略前导的空白区域
-d, --dictionary-order 只考虑空白区域和字母字符
-f, --ignore-case 忽略字母大小写
-g, --general-numeric-sort 按照常规数值排序
-i, --ignore-nonprinting 只排序可打印字符
-M, --month-sort 比较 (未知) < "一月" < ... < "十二月"
在LC_ALL=C 时为(unknown) < `JAN' < ... < `DEC'
-h, --human-numeric-sort 使用易读性数字(例如: 2K 1G)
-n, --numeric-sort 根据字符串数值比较
-R, --random-sort 根据随机hash 排序
--random-source=文件 从指定文件中获得随机字节
-r, --reverse 逆序输出排序结果
--sort=WORD 按照WORD 指定的格式排序:
一般数字-g,高可读性-h,月份-M,数字-n,
随机-R,版本-V
-V, --version-sort 在文本内进行自然版本排序

其他选项:
--batch-size=NMERGE 一次最多合并NMERGE 个输入;如果输入更多
则使用临时文件
-c, --check, --check=diagnose-first 检查输入是否已排序,若已有序则不进行操作
-C, --check=quiet, --check=silent 类似-c,但不报告第一个无序行
--compress-program=程序 使用指定程序压缩临时文件;使用该程序
的-d 参数解压缩文件
--debug 为用于排序的行添加注释,并将有可能有问题的
用法输出到标准错误输出
--files0-from=文件 从指定文件读取以NUL 终止的名称,如果该文件被
指定为"-"则从标准输入读文件名
-k, --key=位置1[,位置2] 在位置1 开始一个key,在位置2 终止(默认为行尾)
参看POS 语法。
-m, --merge 合并已排序的文件,不再进行排序
-o, --output=文件 将结果写入到文件而非标准输出
-s, --stable 禁用last-resort 比较以稳定比较算法
-S, --buffer-size=大小 指定主内存缓存大小
-t, --field-separator=分隔符 使用指定的分隔符代替非空格到空格的转换
-T, --temporary-directory=目录 使用指定目录而非$TMPDIR 或/tmp 作为
临时目录,可用多个选项指定多个目录
--parallel=N 将同时运行的排序数改变为N
-u, --unique 配合-c,严格校验排序;不配合-c,则只输出一次排序结果
-z, --zero-terminated 以0 字节而非新行作为行尾标志
--help 显示此帮助信息并退出
--version 显示版本信息并退出

POS 是F[.C][OPTS],F 代表域编号,C 是域中字母的位置,F 和C 均从1开始计数
如果没有有效的-t 或-b 选项存在,则从前导空格后开始计数字符。OPTS 是一个或多个
由单个字母表示的顺序选项,以此覆盖此key 的全局顺序设置。如果没有指定key 则
将其整个行。

指定的大小可以使用以下单位之一:
内存使用率% 1%,b 1、K 1024 (默认),M、G、T、P、E、Z、Y 等依此类推。

如果不指定文件,或者文件为"-",则从标准输入读取数据。

*** 警告 ***
本地环境变量会影响排序结果。
如果希望以字节的自然值获得最传统的排序结果,请设置LC_ALL=C。

第一部分

1. sort:(不带参数)

1
2
3
4
5
6
7
8
9
10
[rocrocket@rocrocket ~]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket ~]$ sort seq.txt
apple
banana
orange
pear

2. sort的-u选项

它的作用很简单,就是在输出行中去除重复行。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[rocrocket@rocrocket ~]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket ~]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket ~]$ sort -u seq.txt
apple
banana
orange
pear
// pear由于重复被-u选项无情的删除了

3. sort的-r选项

sort默认的排序方式是升序,如果想改成降序,就加个-r就搞定了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[rocrocket@rocrocket ~]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket ~]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket ~]$ sort -r number.txt
5
4
3
2
1

4. sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

1
2
3
4
[rocrocket@rocrocket ~]$ sort -r number.txt > number.txt
[rocrocket@rocrocket ~]$ cat number.txt
[rocrocket@rocrocket ~]$
// 看,竟然将number清空了

就在这个时候,-o选项出现了,它成功的解决了这个问题,让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。

1
2
3
4
5
6
7
8
9
10
11
12
13
[rocrocket@rocrocket ~]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket ~]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket ~]$ cat number.txt
5
4
3
2
1

5. sort的-n选项

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。

我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[rocrocket@rocrocket ~]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket ~]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket ~]$ sort -n number.txt
1
2
5
10
11
19

6. sort的-t选项和-k选项

如果有一个文件的内容是这样:

1
2
3
4
5
[rocrocket@rocrocket ~]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。

那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?

幸好,sort提供了-t选项,后面可以设定间隔符。(是不是想起了cut和paste的-d选项)

指定了间隔符之后,就可以用-k来指定列数了。

1
2
3
4
5
[rocrocket@rocrocket ~]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3// 我们使用冒号作为间隔符,并针对第二列来进行数值升序排序,结果很令人满意

7. sort其他选项

-f  会将小写字母都转换为大写字母来进行比较,亦即忽略大小写

-c  会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1

-C  会检查文件是否已排好序,如果乱序,不输出内容,仅返回1

-M  会以月份来排序,比如JAN小于FEB等等

-b  会忽略每一行前面的所有空白部分,从第一个可见字符开始比较

第二部分

有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2 -k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!

1. 准备素材

1
2
3
4
5
~]$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。(除了公司名称,其他的别信,都瞎写的^_^)

2. 我想让这个文件按公司的字母排序,也就是按第一个域进行排序(这个facebook.txt文件有三个域)

1
2
3
4
5
~]$ sort -t ' ' -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧,就直接用-k 1设定就可以了。(其实此处并不严格,稍后你就会知道)

3. 我想让facebook.txt按照公司人数排序

1
2
3
4
5
~]$ sort -n -t ' '  -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

不用解释,我相信你能懂。

但是,此处出现了问题,那就是baidu和sohu的公司人数相同,都是100人,这个时候怎么办呢?按照默认规矩,是从第一个域开始进行升序排序,因此baidu排在了sohu前面。

4. 我想让facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序

1
2
3
4
5
~]$ sort -n -t ' ' -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看,我们加了一个-k2 -k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)

5. 我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)

1
2
3
4
5
~]$ sort -n -t ' ' -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上面提到的,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:

1
2
3
4
5
~]$ sort -t ' ' -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000// 看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了

6. -k选项的具体语法格式

要继续往下深入的话,就不得不来点理论知识。你需要了解-k选项的语法格式,如下:

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。

先给你灌输一个思想,那就是“如果不设定End部分,那么就认为End被设定为行尾”。这个概念很重要的,但往往你不会重视它。

Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。

C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。

FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。

同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。

7. 突发奇想,从公司英文名称的第二个字母开始进行排序:

1
2
3
4
5
~]$ sort -t ' ' -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

看,我们使用了-k 1.2,这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o,但sohu的h在google的o前面,所以两者分别排在第二和第三。guge只能屈居第四了。

8. 又突发奇想,,只针对公司英文名称的第二个字母进行排序,如果相同的按照员工工资进行降序排序:

1
2
3
4
5
~]$ sort -t ' ' -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由于只对第二个字母进行排序,所以我们使用了-k 1.2,1.2的表示方式,表示我们“只”对第二个字母进行排序。(如果你问“我使用-k 1.2怎么不行?”,当然不行,因为你省略了End部分,这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序)。对于员工工资进行排 序,我们也使用了-k 3,3,这是最准确的表述,表示我们“只”对本域进行排序,因为如果你省略了后面的3,就变成了我们“对第3个域开始到最后一个域位置的内容进行排序” 了。

9. 在modifier部分还可以用到哪些选项?

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序(即,只考虑空白和字母)。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”,只针对可打印字符进行排序。(有些ASCII就是不可打印字符,比如\a是报警,\b是退格,\n是换行,\r是回车等等)

10. 思考思考关于-k和-u联合使用的例子:

1
2
3
4
5
~]$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

这是最原始的facebook.txt文件。

1
2
3
4
5
6
7
8
9
~]$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
~]$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000

当设定以公司员工域进行数值排序,然后加-u后,sohu一行就被删除了!原来-u只识别用-k设定的域,发现相同,就将后续相同的行都删除。

1
2
3
4
5
6
7
8
9
~]$ sort  -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500
~]$ sort -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500

这个例子也同理,开头字符是g的guge就没有幸免于难。

1
2
3
4
5
~]$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦!这里设置了两层排序优先级的情况下,使用-u就没有删除任何行。原来-u是会权衡所有-k选项,将都相同的才会删除,只要其中有一级不同都不会轻易删除的:)(不信,你可以自己加一行sina 100 4500试试看)

11. 最诡异的排序:

1
2
3
4
5
~]$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二个域的第二个字符开始到第三个域的第一个字符结束的部分进行排序。

第一行,会提取0 3,第二行提取00 5,第三行提取00 4,第四行提取10 5。

又因为sort认为0小于00小于000小于0000….

因此0 3肯定是在第一个。10 5肯定是在最后一个。但为什么00 5却在00 4前面呢?(你可以自己做实验思考一下。)

答案揭晓:原来“跨域的设定是个假象”,sort只会比较第二个域的第二个字符到第二个域的最后一个字符的部分,而不会把第三个域的开头字符纳入比较范围。当发现

00和00相同时,sort就会自动比较第一个域去了。当然baidu在sohu前面了。用一个范例即可证实:

1
2
3
4
5
~]$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12. 有时候在sort命令后会看到+1 -2这些符号,这是什么东东?

关于这种语法,最新的sort是这么进行解释的:

On older systems, sort’ supports an obsolete origin-zero syntax+POS1 [-POS2]‘ for specifying sort keys. POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k’ instead.

原来,这种古老的表示方式已经被淘汰了,以后可以理直气壮的鄙视使用这种表示方法的脚本喽!

(为了防止古老脚本的存在,在这再说一下这种表示方法,加号表示Start部分,减号表示End部分。最最重要的一点是,这种方式方法是从0开始计数的,以前所说的第一个域,在此被表示为第0个域。以前的第2个字符,在此表示为第1个字符。明白?)

3.范例

#去除重复行

1
2
3
sort -n partition_id.txt |uniq|sort -n
去重必须搭配sort -n使用
sort -n单独使用是按照数字排序

#按数字排序:

1
sort -n number.txt

#以/为分隔,按数字进行排序,指定的排序列是4

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@snbs161-201-instance opt]# head stat.log 
/opt/write/1 97792 192 81a4 0 0 fd05 655362 1 0 0 1573375690 1573375353 1573375353 4096
/opt/write/3 97792 192 81a4 0 0 fd05 655364 1 0 0 1573375832 1573375724 1573375724 4096
/opt/write/7 97792 192 81a4 0 0 fd05 655368 1 0 0 1573375835 1573375724 1573375724 4096
/opt/write/5 97792 192 81a4 0 0 fd05 655366 1 0 0 1573375832 1573375724 1573375724 4096
/opt/write/9 97792 192 81a4 0 0 fd05 655370 1 0 0 1573375838 1573375724 1573375724 4096
/opt/write/11 97792 192 81a4 0 0 fd05 655372 1 0 0 1573375832 1573375724 1573375724 4096
/opt/write/8 97792 192 81a4 0 0 fd05 655369 1 0 0 1573375828 1573375724 1573375724 4096
/opt/write/6 97792 192 81a4 0 0 fd05 655367 1 0 0 1573375830 1573375724 1573375724 4096
/opt/write/13 97792 192 81a4 0 0 fd05 655374 1 0 0 1573375832 1573375724 1573375724 4096
/opt/write/10 97792 192 81a4 0 0 fd05 655371 1 0 0 1573375829 1573375724 1573375724 4096
/opt/write/9992 97792 192 81a4 0 0 fd05 665353 1 0 0 1573375829 1573375737 1573375737 4096
/opt/write/9991 97792 192 81a4 0 0 fd05 665352 1 0 0 1573375833 1573375737 1573375737 4096
/opt/write/9993 97792 192 81a4 0 0 fd05 665354 1 0 0 1573375828 1573375737 1573375737 4096
/opt/write/9994 97792 192 81a4 0 0 fd05 665355 1 0 0 1573375832 1573375737 1573375737 4096
/opt/write/9995 97792 192 81a4 0 0 fd05 665356 1 0 0 1573375834 1573375737 1573375737 4096
/opt/write/10000 97792 192 81a4 0 0 fd05 665361 1 0 0 1573375831 1573375737 1573375737 4096
/opt/write/9996 97792 192 81a4 0 0 fd05 665357 1 0 0 1573375828 1573375737 1573375737 4096
/opt/write/9997 97792 192 81a4 0 0 fd05 665358 1 0 0 1573375830 1573375737 1573375737 4096
/opt/write/9998 97792 192 81a4 0 0 fd05 665359 1 0 0 1573375831 1573375737 1573375737 4096
/opt/write/9999 97792 192 81a4 0 0 fd05 665360 1 0 0 1573375838 1573375737 1573375737 4096

需求:/opt/write/数字,根据数字排序
命令:
sort -t "/" -n -k4 stat.log
注:以/为分隔,按数字进行排序,指定的排序列是4

#sort 是默认以第一个数据来排序,而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。

1
cat /etc/passwd | sort

#/etc/passwd 内容是以 : 来分隔的,我想以第三栏来排序,该如何

1
cat /etc/passwd | sort -t ':' -k 3

#用数字排序,默认是以字符串来排序的

1
cat /etc/passwd | sort -t ':' -k 3n

#倒序排列,默认是升序排序

1
cat /etc/passwd | sort -t ':' -k 3nr

#对/etc/passwd,先以第六个域的第2个字符到第4个字符进行正向排序,再基于第一个域进行反向排序

1
cat /etc/passwd | sort -t':' -k 6.2,6.4 -k 1r

#查看/etc/passwd有多少个shell:对/etc/passwd的第七个域进行排序,然后去重

1
cat /etc/passwd |  sort -t':' -k 7 -u

引用:
http://linux.51yip.com/search/paste

https://www.cnblogs.com/longjshz/p/5801605.html

赞赏一下吧~