UNIX kabuk komut dosyasındaki bir listeden benzersiz veya farklı değerler seçin

Newline ayrılmış değerler uzun bir liste döndüren bir ksh komut dosyası var ve yalnızca benzersiz / farklı değerleri görmek istiyorum. Bunu yapmak mümkün mü?

Örneğin, çıktımın bir dizindeki dosya sonekleri olduğunu varsayalım:

tar
gz
java
gz
java
tar
class
class

Şunun gibi bir liste görmek istiyorum:

tar
gz
java
class

uniqVe sortuygulamalarına bakmak isteyebilirsiniz .

./yourscript.ksh | sırala | uniq

(Bilginize, evet, bu komut satırında sıralama gereklidir, uniqyalnızca birbirinin hemen arkasındaki yinelenen satırları çıkarır)

DÜZENLE:

Aaron Digulla tarafından uniqkomut satırı seçenekleriyle ilgili olarak yayınlananların aksine :

Aşağıdaki girdi verildiğinde:

sınıf
kavanoz
kavanoz
kavanoz
çöp Kutusu
çöp Kutusu
java

uniq tüm satırları tam olarak bir kez çıktılar:

sınıf
kavanoz
çöp Kutusu
java

uniq -d birden fazla görünen tüm satırların çıktısını alır ve bunları bir kez basar:

kavanoz
çöp Kutusu

uniq -u tam olarak bir kez görünen tüm satırların çıktısını alır ve bunları bir kez basar:

sınıf
java

./script.sh | sort -u

Bu, monoksitin cevabı ile aynıdır , ancak biraz daha özlüdür.

Sıralamanın istenemeyeceği daha büyük veri kümeleri için aşağıdaki perl komut dosyasını da kullanabilirsiniz:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Bu temelde her hat çıkışını hatırlar, böylece tekrar çıkış yapmaz.

sort | uniqÖnünde hiçbir sıralama gerekmemesi " " çözümüne göre avantajlıdır .

İle zsh bunu yapabilirsiniz:

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

Veya AWK'yı kullanabilirsiniz:

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Boru onları içinden sortve uniq. Bu, tüm kopyaları kaldırır.

uniq -dyalnızca kopyaları uniq -uverir, yalnızca benzersiz olanları verir (kopyaları şeritler).

AWK ile yapabileceğiniz gibi, sıralamadan daha hızlı buluyorum

 ./yourscript.ksh | awk '!a[$0]++'

İstendiği gibi benzersiz (ancak sıralanmamış);
~ 70'ten az eleman için daha az sistem kaynağı kullanır (zamanla test edildiği gibi);
stdin'den girdi almak için yazılmış,
(veya başka bir senaryoda değişiklik yapıp dahil edecek):
(Bash)

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

Bir dosyada yinelenmeyen girişler almak için daha iyi ipuçları alıyorum

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u