在排序算法里有個重要的問題:是否穩(wěn)定?這個問題指的是:相同的記錄輸入順序是否在輸出時也可保持原狀?當(dāng)你以多鍵值為記錄進(jìn)行排序,或是以管道處理時,排序穩(wěn)定性就非常重要了.我們先來驗證一下.
sort -t_ -k1,1 -k2,2 <<EOF
> one_two
> one_two_three
> one_two_four
> one_two_five
>EOF
輸出為:
one_two
one_two_five
one_two_four
one_two_three
每條記錄內(nèi)的排序字段都相同,但是輸出與輸入不一致,所以我們說 sort 不是穩(wěn)定的排序.幸好:我們可以通過--stable 選項補救這個問題,設(shè)置此選項,就會穩(wěn)定了.
sort --stable -t_ -k1,1 -k2,2 << EOF
輸出為:
one_two
one_two_three
one_two_four
one_two_five
sort 命令的重要性絕對能在 linux 中拍到前十.
有時,將數(shù)據(jù)流里連續(xù)重復(fù)的記錄刪除是必要的.使用 sort -u 的消除操作十一局匹配的鍵值,而非匹配的記錄.
uniq 命令提供了另外一種過濾數(shù)據(jù)的方式:常用于管道中,用來刪除已使用 sort 排序完成的重復(fù)記錄.
sort ... | uniq | ... uniq [OPTION]… [INPUT [OUTPUT]]
從文件中去除或刪除重復(fù)的行,在功能上和 sort -u類似.
常用選項:
-u: 只顯示不重復(fù)的行
-d: 只顯示重復(fù)的行
-c: 打印每一行出現(xiàn)的次數(shù)
-fn: 忽略前n個域
例如:我有一個文件:unip.txt
tres
unus
duo
tres
duo
tres
使用sort uniq.txt |uniq
命令顯示唯一的,排序后的記錄,重復(fù)則僅取唯一行.
輸出為:
duo
tres
unus
使用sort uniq.txt | uniq -c
命令計數(shù)唯一的,排序后的記錄,說白了就是統(tǒng)計各行文本出現(xiàn)的次數(shù)
2 duo
3 tres
1 unus
代表的意思是說 duo 出現(xiàn)了兩次,tres 出現(xiàn)了三次,unus 出現(xiàn)了一次.
使用sort uniq.txt | uniq -d
命令僅顯示重復(fù)的記錄
輸出結(jié)果為:
duo
tres
使用sort uniq.txt | uniq -u
命令僅顯示未重復(fù)的記錄
輸出結(jié)果為:unus
并集:cat file1.txt file2.txt | sort | uniq > file.txt
交集:cat file1.txt file2.txt | sort | uniq -d >file.txt
差集:求 file1.txt 相對于 file2.txt 的差集,可先求出兩者的交集 temp.txt,然后在 file1.txt 中除去 temp.txt 即可。
cat file1.txt file2.txt | sort | uniq -d >temp.txt
cat file1.txt temp.txt | sort | uniq -u >file.txt
文本中的重復(fù)行,基本上不是我們所要的,所以就要去除掉。linux 下有其他命令可以去除重復(fù)行,但是我覺得 uniq 還是比較方便的一個。使用 uniq 的時候要注意以下二點
uniq 的所有選項: