Bash ile bir metin dosyasının her satırı boyunca nasıl yineleyebilirim ?

Bu kod ile:

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

Bu çıktıyı ekranda alıyorum:

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

(Daha sonra $pekrana çıkış yapmaktan daha karmaşık bir şey yapmak istiyorum .)

SHELL ortam değişkeni (env'den):

SHELL=/bin/bash

/bin/bash --version çıktı:

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat /proc/version çıktı:

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

Peptides.txt dosyası şunları içerir:

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Bunu yapmanın bir yolu:

while read p; do
  echo "$p"
done <peptides.txt

Yorumlarda belirtildiği gibi, bunun önde gelen beyaz alanı kırpmanın, ters eğik çizgi dizilerini yorumlamanın ve sonlandırıcı bir satır besleme eksikse son satırı atlamanın yan etkileri vardır. Bunlar endişe kaynağı ise, şunları yapabilirsiniz:

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

İstisnai olarak, döngü gövdesi standart girdiden okuyabiliyorsa , dosyayı farklı bir dosya tanımlayıcı kullanarak açabilirsiniz:

while read -u 10 p; do
  ...
done 10<peptides.txt

Burada, 10 sadece rastgele bir sayıdır (0, 1, 2'den farklı).

cat peptides.txt | while read line 
do
   # do something with $line here
done

ve tek katlı varyant:

cat peptides.txt | while read line; do something_with_$line_here; done

Sondaki satır beslemesi yoksa bu seçenekler dosyanın son satırını atlar.

Bunu aşağıdakilerden kaçınabilirsiniz:

cat peptides.txt | while read line || [[ -n $line ]];
do
   # do something with $line here
done

Seçenek 1a: Süre döngüsü : Her seferinde tek satır: Giriş yeniden yönlendirmesi

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo $p
done < $filename

Seçenek 1b: While döngüsü : Her seferinde tek satır:
Dosyayı açın, dosya tanımlayıcısından okuyun (bu durumda dosya tanımlayıcı # 4).

#!/bin/bash
filename='peptides.txt'
exec 4<$filename
echo Start
while read -u4 p ; do
    echo $p
done

Bu, diğer yanıtlardan daha iyi değildir, ancak işi boşluk içermeyen bir dosyada yapmanın bir yoludur (yorumlara bakın). Ben sık sık ayrı komut dosyaları kullanma ek adım olmadan metin dosyaları listeleri kazmak için tek satırları gerektiğini buluyorum.

for word in $(cat peptides.txt); do echo $word; done

Bu biçim, hepsini tek bir komut satırına koymamı sağlıyor. "Echo $ word" bölümünü istediğiniz gibi değiştirin ve noktalı virgülle ayırarak birden fazla komut verebilirsiniz. Aşağıdaki örnek, dosyanın içeriğini yazmış olabileceğiniz diğer iki komut dosyasına bağımsız değişken olarak kullanır.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done

Veya bunu bir akış düzenleyicisi (sed öğrenmek) gibi kullanmak istiyorsanız, çıktıyı aşağıdaki gibi başka bir dosyaya dökebilirsiniz.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done > outfile.txt

Bunları yukarıda yazıldığı gibi kullandım çünkü her satırda bir kelime ile oluşturduğum metin dosyalarını kullandım. (Yorumlara bakın) Kelimelerinizi / satırlarınızı bölmek istemediğiniz boşluklarınız varsa, biraz daha çirkinleşir, ancak aynı komut hala aşağıdaki gibi çalışır:

OLDIFS=$IFS; IFS=$'\n'; for line in $(cat peptides.txt); do cmd_a.sh $line; cmd_b.py $line; done > outfile.txt; IFS=$OLDIFS

Bu, kabuğa boşluklara değil yalnızca satırlara ayrılmasını söyler, daha sonra çevreyi önceki haline geri döndürür. Bu noktada, hepsini tek bir satıra sıkıştırmak yerine hepsini bir kabuk betiğine koymayı düşünebilirsiniz.

İyi şanslar!

Diğer cevapların kapsamadığı birkaç şey daha:

Sınırlandırılmış bir dosyadan okuma

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

Süreç ikamesi kullanarak başka bir komutun çıktısından okuma

while read -r line; do
  # process the line
done < <(command ...)

Bu yaklaşım, command ... | while read -r line; do ...burada while döngüsü, ikincisinde olduğu gibi bir alt kabuk yerine geçerli kabukta çalıştığından daha iyidir. İlgili gönderiye bakın while döngüsü içinde değiştirilen bir değişken hatırlanmaz .

Boş bir sınırlandırılmış girişten okuma, örneğin find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

İlgili okuma: BashFAQ / 020 - Yeni satırlar, boşluklar veya her ikisini içeren dosya adlarını nasıl bulabilir ve güvenli bir şekilde işleyebilirim?

Aynı anda birden fazla dosyadan okuma

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

Dayanarak chepner en @ cevap burada :

-ubir bash uzantısıdır. POSIX uyumluluğu için her çağrı benzer görünecektir read -r X <&3.

Bir dosyanın tamamını bir diziye okuma (4'ten önceki Bash sürümleri)

while read -r line; do
    my_array+=("$line")
done < my_file

Dosya tamamlanmamış bir satırla bitiyorsa (sonunda yeni satır eksik), o zaman:

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

Tüm dosyayı bir diziye okuma (Bash sürüm 4x ve üstü)

readarray -t my_array < my_file

veya

mapfile -t my_array < my_file

Ve sonra

for line in "${my_array[@]}"; do
  # process the lines
done

• Kabuk yapıları readve readarraykomutları hakkında daha fazla bilgi - GNU

• Hakkında daha fazla bilgi IFS- Wikipedia

• BashFAQ / 001 - Bir dosyayı (veri akışı, değişken) satır satır (ve / veya tarla bazında) nasıl okuyabilirim?

İlgili Mesajlar:

• Bash'te bir metin dosyasından dizi oluşturma
• Sadece bir satırı olan bir dosyayı okuma yaklaşımları arasındaki fark nedir?
• Bash okurken döngü kedi ile karşılaştırıldığında son derece yavaş, neden?

Bunun gibi bir while döngüsü kullanın:

while IFS= read -r line; do
   echo "$line"
done <file

Notlar:

1. Doğru IFSşekilde ayarlamazsanız, girintiyi kaybedersiniz.

2. Hemen her zaman okuma ile -r seçeneğini kullanmalısınız.

3. İle satır okuma for

Diyelim ki bu dosyanız var:

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

Birçok Bash çözümü tarafından okunan dosya çıktısının anlamını değiştirecek dört öğe vardır:

1. Boş satır 4;
2. İki satırda öndeki veya sondaki boşluklar;
3. Tek tek satırların anlamını korumak (yani her satır bir kayıttır);
4. Çizgi 6 bir CR ile sonlandırılmadı.

Metin dosyasının boş satırlar ve CR içermeyen sonlandırma satırları da dahil olmak üzere satır satır olmasını istiyorsanız, while döngüsü kullanmalı ve son satır için alternatif bir testiniz olmalıdır.

İşte dosyayı değiştirebilecek yöntemler ( cat döndürenlere ):

1) Son çizgiyi ve ön ve arka boşlukları kaybedin:

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

(Bunu yaparsanız while IFS= read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt, önde gelen ve arkadaki boşlukları korursunuz, ancak CR ile sonlandırılmazsa son satırı kaybedersiniz)

2) İşlem ikamesi ile birlikte kullanıldığında cat, tüm dosya tek bir yığında okunacak ve satırların anlamı kaybedilecektir:

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

(Eğer kaldırırsanız "dan $(cat /tmp/test.txt)size ziyade bir yudum daha kelime dosya kelimeyi okuyun. Ayrıca amaçlanan muhtemelen neyi ...)

Bir dosyayı satır satır okumanın ve tüm boşlukları korumanın en sağlam ve basit yolu:

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

Öncü ve ticaret alanlarını soymak istiyorsanız, IFS=parçayı çıkarın :

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

Bir sonlandırıcı olmadan (bir metin dosyası \n, oldukça yaygın iken, POSIX altında kırık olarak kabul edilir. Eğer sondaki güvenebilirsiniz varsa \nsize ihtiyacım yok || [[ -n $line ]]içindewhile döngü.)

Daha fazla bilgi için BASH SSS

Okumanızın satırsonu karakteriyle kırılmasını istemiyorsanız, -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

Daha sonra komut dosyasını dosya adı ile parametre olarak çalıştırın.

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done

İşte benim gerçek hayat örneği başka bir program çıktı satırları döngü, alt dizeleri kontrol, değişken çift tırnak bırakın, bu değişken döngü dışında kullanın. Sanırım pek çok kişi bu soruları er ya da geç soruyor.

##Parse FPS from first video stream, drop quotes from fps variable
## streams.stream.0.codec_type="video"
## streams.stream.0.r_frame_rate="24000/1001"
## streams.stream.0.avg_frame_rate="24000/1001"
FPS=unknown
while read -r line; do
  if [[ $FPS == "unknown" ]] && [[ $line == *".codec_type=\"video\""* ]]; then
    echo ParseFPS $line
    FPS=parse
  fi
  if [[ $FPS == "parse" ]] && [[ $line == *".r_frame_rate="* ]]; then
    echo ParseFPS $line
    FPS=${line##*=}
    FPS="${FPS%\"}"
    FPS="${FPS#\"}"
  fi
done <<< "$(ffprobe -v quiet -print_format flat -show_format -show_streams -i "$input")"
if [ "$FPS" == "unknown" ] || [ "$FPS" == "parse" ]; then 
  echo ParseFPS Unknown frame rate
fi
echo Found $FPS

Değişkeni döngü dışında bildirin, değeri ayarlayın ve döngü dışında kullanın <<< "$ (...)" sözdizimi gerektirir. Uygulamanın geçerli konsol bağlamında çalıştırılması gerekir. Komutun etrafındaki alıntılar çıktı akışının satırlarını tutar.

Alt dizeler için döngü eşleşmesi daha sonra ad = değer çiftini okur , sonun sağ tarafını böler = karakter, ilk alıntıyı düşürür, son alıntıyı düşürür, başka bir yerde kullanılacak temiz bir değere sahibiz.

Bu çok geç geliyor, ama birine yardımcı olabileceği düşüncesiyle, cevabı ekliyorum. Ayrıca bu en iyi yol olmayabilir. headkomut, n satırını dosya başlangıcından -nokumak için argümanla ve komut da alttan okumak için kullanılabilir. Şimdi, getirilemedi n'inci dosyadan satır, biz baş n hatları kuyruğuna borulu verilerden sadece 1 satır, boru verileri. tail

   TOTAL_LINES=`wc -l $USER_FILE | cut -d " " -f1 `
   echo $TOTAL_LINES       # To validate total lines in the file

   for (( i=1 ; i <= $TOTAL_LINES; i++ ))
   do
      LINE=`head -n$i $USER_FILE | tail -n1`
      echo $LINE
   done

@Peter: Bu sizin için işe yarayabilir-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

Bu, çıktı

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL