«text-processing» etiketlenmiş sorular

Bilinmeyen veya karışık kodlamada bir metin dosyasına sahibim. UTF-8 geçerli olmayan bir bayt dizisi içeren satırları görmek istiyorum (metin dosyasını bir programa aktararak). Eşdeğer olarak, geçerli UTF-8 olan satırları filtrelemek istiyorum. Başka bir deyişle, arıyorum .grep [notutf8] İdeal bir çözüm taşınabilir, kısa ve diğer kodlamalara genelleştirilebilir olacaktır, ancak en iyi …

50 command-line  text-processing  character-encoding  unicode 

Bazı metin dosyalarının Linux modunda tutulmasını sağlayan bir komutu düzenli aralıklarla çalıştırmam gerekiyor . Ne yazık ki, dos2unixher zaman dosya ve klasörün zaman damgalarını bozan ve gereksiz yazmalara neden olan dosyayı değiştirir. Yazdığım senaryo Bash'de, bu yüzden Bash'e dayalı cevapları tercih ediyorum.

48 bash  text-processing  newlines 

Giriş dosyası1: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Eşleşmeyi kalıbın içinden other file( dog 123 4335file2'deki gibi ) veriyorum . Çizginin deseni ile eşleşiyorum dog 123 4335ve tüm çizgileri eşleşme çizgisi olmadan yazdırdıktan sonra çıktım : cat 13123 23424 deer 2131 213132 bear 2313 …

48 text-processing  sed  grep 

CSV dosyalarıyla çalışıyorum ve bazen satır veya sütunun içeriğini komut satırından hızlıca kontrol etmem gerekiyor. Birçok durumda cut, head, tail, ve işi yapacak arkadaşlar; ancak, kesim gibi durumlarla kolayca baş edemezsiniz "this, is the first entry", this is the second, 34.5 Burada, ilk virgül ilk alanın bir parçasıdır, ancak cut …

47 command-line  software-rec  text-processing  csv 

Herhangi bir uyarı / hata olmadan Gedit'te.htm açan birkaç dosyam var , ancak bu dosyaları açtığımda Jeditgeçersiz UTF-8 kodlaması konusunda beni uyarıyor ... HTML meta etiketi "charset = ISO-8859-1" ifadesini belirtir. Jedit , geri dönüş kodlamalarının bir listesini ve kodlama otomatik dedektörlerinin bir listesini (şu anda "BOM XML-PI") sağlar, bu …

46 text-processing  utilities  character-encoding 

.txtDosyaları dönüştürmek istiyorum .pdf. Bunu kullanıyorum: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Ancak bu bir "hata" üretir - metin dosyasında çok uzun bir satır varsa, kaydırılmaz. Giriş metni PDF çıktısı - Ayrıca, çıktı PDF'nin metin görüntüleri yerine metin içeriyor olması …

45 text-processing  pdf  imagemagick  conversion 

sed Gibi belirli bir konuma sahip satırları hızlı bir şekilde silmek için kullanın sed '1d' sed '5d' Ancak, dosyanın son satırını silmek istersem ve satır sayısını bilmezsem (bunu kullanarak wcve birkaç başka numara kullanabileceğimi biliyorum ). Şu anda, ile bir geçici çözüm kullanarak headve bunun için tailbirlikte wc. Burada hızlı …

44 text-processing  sed 

Bir dosyadaki ortam değişkenlerini değiştirmek / değerlendirmek için kolay bir yol var mı? Diyelim ki içinde bir dosya config.xmlvar: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ...vb. $INSTANCE_IDDosyada, INSTANCE_IDortam değişkeninin $SERVICE_NAMEdeğeri ile, SERVICE_NAMEenv var değerinin yerine geçmek istiyorum . Hangi ortam değişkenine ihtiyaç duyulduğunu önceden bilmiyorum (daha doğrusu, biri …

41 shell-script  text-processing  scripting  environment-variables 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ İhtiyacım olan sonuç, dosyadaki orijinal ifadelerin sırasını korurken tüm kopyaları (sadece ardışık olanları değil) kaldırarak orijinal dosyadaki tüm satırları görüntülemek . …

40 text-processing  uniq 

Kabukta, sahip olduğum bir ikili dosyanın baytlarını nasıl okuyabilir ve çıktıyı onaltılık sayılar olarak yazdırabilir miyim?

39 shell  text-processing  binary 

Bazen, örneğin tam olarak hizalanmamış bir giriş sekmesi ayrılmış listesi olarak alıyorum. var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 Onları hizalamanın kolay bir yolu var mı? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line  text-processing  csv  tabulation 

Son satırsonu hariç tüm yeni satırları boşlukla nasıl değiştirebilirim. Tüm yeni satırları uzayı kullanarak değiştirebilirim, trancak bazı istisnalar dışında bunu nasıl yapabilirim?

38 bash  shell-script  text-processing  tr 

Yaklaşık 30.000.000 satırlık (Radius Muhasebe) bir dosyam var ve verilen bir desenin son eşleşmesini bulmam gerekiyor. Komuta: tac accounting.log | grep $pattern İhtiyacım olanı veriyor, ancak çok yavaş çünkü işletim sistemi önce tüm dosyayı okumak ve sonra da boruya göndermek zorunda. Bu yüzden, dosyayı son satırdan birincisine kadar okuyabilen bir …

38 text-processing  files  grep  tail 

Komut satırını kullanarak bir shell / config / ruby ​​betiğini yorumlamanın / yorumlamanın bir yolu var mı? Örneğin: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf bu , çevrimiçi olarak #oturum açma işaretini ekler veya kaldırır . Normalde kullanıyorum , ancak bu çizgilerin içeriğini bilmeli ve daha sonra bir bul-değiştir …

37 shell-script  text-processing 

Bazı karakterleri dosyadan kaldırmaya çalışıyorum (UTF-8). trBu amaç için kullanıyorum : tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat Dosyada bazı yabancı karakterler var ("Латвийская" veya "àé" gibi). trOnları anlamış görünmüyor: Onları alfa olmayan olarak görür ve bunları da kaldırır. Yerel ayarlarımın bazılarını değiştirmeyi denedim: LC_CTYPE=C LC_COLLATE=C tr -cs '[[:alpha:][:space:]]' ' ' …

36 linux  text-processing  unicode  tr