Kabuk betiğini kullanarak dizeden tüm yinelenen sözcükleri kaldır

Benim gibi bir ipim var

"aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"

Dize yinelenen kelime kaldırmak istiyorum sonra çıktı gibi olacak

"aaa,bbb,ccc"

Bu kodu denedim Kaynak

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

Aynı değerle iyi çalışıyor, ancak değişken değerimi verdiğimde tüm yinelenen kelimeleri de gösteriyor.

Yinelenen değeri nasıl kaldırabilirim.

GÜNCELLEME

Benim sorum kullanıcı aynı ise tek bir dize karşılık gelen tüm değer eklemektir. Böyle veri var ->

   user name    | colour
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green

Kodlama ben tüm farklı kullanıcı getir sonra başarıyla renk dizesini bitiştirmek. Bunun için kod kullanıyorum -

while read the records 

    if [ "$c" == "" ]; then  #$c I defined global
        c="$colour1"
    else
        c="$c,$colour1" 
    fi

Bu $ c değişkenini yazdırdığımda çıktı alıyorum (Kullanıcı AAA için)

"red,black,blue,red,green,red,black,blue,red,green,"

Yinelenen rengi kaldırmak istiyorum.

"red,black,blue,green"

Bu istenen çıkış için yukarıdaki kod kullanılır

 echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

ancak çıktı yinelenen değerlerle görüntüleniyor.

"kırmızı, siyah, mavi, kırmızı, yeşil, kırmızı, siyah, mavi, kırmızı, yeşil," Teşekkürler

Bir eğlence daha, sadece eğlence için:

$ a="aaa bbb aaa bbb ccc aaa ddd bbb ccc"
$ echo "$a" | awk '{for (i=1;i<=NF;i++) if (!a[$i]++) printf("%s%s",$i,FS)}{printf("\n")}'
aaa bbb ccc ddd 

Bu arada, çözümünüz bile değişkenlerle iyi çalışır:

$ b="zebra ant spider spider ant zebra ant" 
$ echo "$b" | xargs -n1 | sort -u | xargs
ant spider zebra

İle tr, sortveuniq

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq

veya

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq | xargs 

bir satır almak

$ echo "zebra ant spider spider ant zebra ant"  | awk -v RS="[ \n]+" '!n[$0]++' 
zebra
ant
spider

GNU ile sed:

sed ':s;s/\(\<\S*\>\)\(.*\)\<\1\>/\1\2/g;ts'

Genel ;s/ */ /galanları kaldırmak için ekleyebilirsiniz .

Bunun gibi işlevler: Bir kelime bu satırda ikinci kez ise, kelimeyi kaldırın ve artık hiçbir yayın bulunmayana kadar yeniden başlayın.

perl -lane '$,=$";print grep { ! $h{$_}++ } @F'

Zorunlu awk çözümü:

$ echo "ant zebra ant spider spider ant zebra ant" | 
   awk -vRS=" " -vORS=" " '!a[$1] {a[$1]++} END{ for (x in a) print x;  } ' ; echo
zebra ant spider 

(Final echoyeni satır için var)

piton

seçenek 1

#!/usr/bin/env python
# get_unique_words.py

import sys

l = []
for w in sys.argv[1].split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)

Yürütülebilir yapın, sonra Bash'ten arayın:

$ ./get_unique_words.py "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"
aaa,bbb,ccc

Veya bir Bash işlevi olarak uygulayabilirsiniz, ancak sözdizimi dağınıktır.

get_unique_words(){
  python -c "
l = []
for w in '$1'.split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)"
}

seçenek 2

Bu seçenek gerekirse tek astar olabilir:

#!/usr/bin/env python
# get_unique_words.py

import sys

s_in = sys.argv[1]
l_in = s_in.split(',') # Turn string into a list.
set_out = set(l_in) # Turning a list into a set removes duplicates items.
s_out = ','.join(set_out) 
print s_out

Bash'ta:

get_unique_words(){
  python -c "print ','.join(set('$1'.split(',')))"
}

cat filename | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }' > newfile

Dosyadaki orijinal tablo verilerinin kullanılması file:

sed '1d' file | sort -u |
awk '{ color[$1] = ( color[$1] == "" ? $3 : color[$1] "," $3 ) }
     END { for (user in color) print user, color[user] }'

Bu üretir

CCC red
BBB blue,red
AAA black,blue,green,red

Boru hattının üç adımı:

1. sedKomut Okuduğumuz istemiyoruz ki üstbilgidir ilk satırı kaldırır.

2. sortKomut bize benzersiz satırları verir. sortGörünüşe göre örnek veriler

   AAA         | black
   AAA         | blue
   AAA         | green
   AAA         | red
   BBB         | blue
   BBB         | red
   CCC         | red

3. awkKomut bu verileri alır ve dizideki her bir kullanıcı için bir virgülle ayrılmış dize üretir color(kullanıcı adı diziye anahtardır). Sonunda ( ENDblokta) toplanan tüm veriler çıkarılır.

a="aaa aaa aaa bbb bbb ccc bbb ccc"
for item in $a
do
   echo $item
done | sort -u | (while read i; do ans="$ans $i"; done ; echo $ans)