Linux'ta komut dosyası aracılığıyla bir dosyanın kodlamasını nasıl bulabilirim?

Bir dizine yerleştirilen tüm dosyaların kodlamasını bulmalıyım. Kullanılan kodlamayı bulmanın bir yolu var mı?

fileKomut bunu yapmak mümkün değildir.

Beni ilgilendiren kodlama: ISO-8859-1. Kodlama başka bir şeyse, dosyayı başka bir dizine taşımak istiyorum.

Kulağa aradığınız gibi geliyor enca. Tahmin edebilir ve hatta kodlamalar arasında dönüştürebilir. Sadece man sayfasına bak .

Ya da başarısız olursa, file -i(linux) veya file -I(osx) kullanın. Bu, karakter kümesi kodlamasını da içerecek olan dosya için MIME türü bilgiler verir. Ben de bunun için bir man-sayfası buldum :)

file -bi <file name>

Bunu bir grup dosya için yapmak isterseniz

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - Mozilla'dan taşınan bir kodlama dedektörü kütüphanesi.

Kullanımı:

~> uchardet file.java 
UTF-8

Çeşitli Linux dağıtımları (Debian / Ubuntu, OpenSuse-packman, ...) ikili dosyalar sağlar.

MacOsX üzerinde çalışan -I ve iconv dosyasını kullanan örnek bir komut dosyasıdır. Sorunuz için iconv yerine mv kullanmanız gerekiyor

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

İso-8859-1 olup olmadığını belirlemek gerçekten zor. İso-8859-1 de olabilecek sadece 7 bit karakterli bir metniniz varsa, ancak bilmiyorsunuzdur. 8 bit karakterleriniz varsa, üst bölge karakterleri de sipariş kodlamasında bulunur. Bu nedenle, hangi kelimenin olduğunu daha iyi tahmin etmek ve oradan hangi harfin olması gerektiğini belirlemek için bir sözlük kullanmanız gerekir. Son olarak bunun utf-8 olabileceğini tespit ederseniz iso-8859-1 olmadığından emin olabilirsiniz.

Kodlama yapılması en zor şeylerden biridir çünkü size hiçbir şeyin söylemediğini asla bilemezsiniz

Debian'da şunları da kullanabilirsiniz encguess:

$ encguess test.txt
test.txt  US-ASCII

Kodlamayı 8859'dan ASCII'ye dönüştürmek için:

iconv -f ISO_8859-1 -t ASCII filename.txt

Python ile pazı modülünü kullanabilirsiniz: https://github.com/chardet/chardet

Bu kusursuz bir şekilde yapabileceğiniz bir şey değil. Bir olasılık da aralıklarında herhangi bir karakter içermediğinden emin olmak için dosyada her karakter incelemek olacağını 0x00 - 0x1fya 0x7f -0x9fdediğim gibi bu iso8859 en az birinin diğer çeşitleri dahil, dosyaların herhangi bir sayı için doğru olabilir, ama.

Başka bir olasılık, dosyada desteklenen tüm dillerde belirli kelimeleri aramak ve bulabileceğinizi görmek.

Örneğin, 8859-1'in tüm desteklenen dillerinde İngilizce "ve", "ancak", "ila", "ve" eşdeğerlerini bulun ve bunların içinde çok sayıda tekrar olup olmadığını görün dosya.

Aşağıdaki gibi gerçek çeviriden bahsetmiyorum:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

bu mümkün olsa da. Hedef dilde sık kullanılan kelimelerden bahsediyorum (bildiğim kadarıyla, İzlandaca "ve" için bir kelime yok - muhtemelen "balık" için kelimelerini kullanmak zorunda kalacaksınız [üzgünüm, bu biraz basmakalıp, ben yapmadım sadece bir noktayı gösteren herhangi bir suç anlamına gelir]).

Daha genel bir cevapla ilgilendiğinizi biliyorum, ancak ASCII'de iyi olan diğer kodlamalarda genellikle iyidir. Standart girişin ASCII olup olmadığını belirlemek için bir Python tek astarı. (Bunun Python 2'de çalıştığından eminim, ancak sadece Python 3'te test ettim.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

XML dosyaları (ISO-8859-1) hakkında konuşuyorsanız, içindeki XML bildirimi kodlamayı belirtir: <?xml version="1.0" encoding="ISO-8859-1" ?>
Bu nedenle, perlher dosyayı bu tür özellikler için kontrol etmek için normal ifadeleri (örn. İle ) kullanabilirsiniz.
Daha fazla bilgi burada bulunabilir: Metin Dosyası Kodlamasını Belirleme .

Php aşağıdaki gibi kontrol edebilirsiniz:

Kodlama listesini açıkça belirtme:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Daha doğru "mb_list_encodings":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Burada ilk örnekte, eşleşen olabilecek kodlamaların (liste sırasını algıla) bir listesini koyduğumu görebilirsiniz. Daha doğru sonuç almak için tüm olası kodlamaları şu yolla kullanabilirsiniz: mb_list_encodings ()

Not mb_ * işlevleri php-mbstring gerektirir

apt-get install php-mbstring

Cygwin'de bu benim için çalışıyor gibi görünüyor:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Misal:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Iconv tarafından desteklenen herhangi bir kaynak kodlamasından, her şeyi utf8'e dönüştürmek için bir awv ve iconv komutu oluşturabilirsiniz.

Misal:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

File komutuyla tek bir dosyanın kodlamasını çıkarabilirsiniz. İle bir sample.html dosyası var:

$ file sample.html 

sample.html: HTML belgesi, UTF-8 Çok uzun satırlı Unicode metin

$ file -b sample.html

HTML belgesi, UTF-8 Unicode metin, çok uzun satırlar

$ file -bi sample.html

text / html; karakter kümesi = UTF-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

UTF-8

Aşağıdaki komut dosyasını kullanıyorum

1. SRC_ENCODING ile FILTER ile eşleşen tüm dosyaları bul
2. Bunların bir yedeğini oluşturun
3. Bunları DST_ENCODING biçimine dönüştürün
4. (isteğe bağlı) Yedekleri kaldırın

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

bu komutla:

for f in `find .`; do echo `file -i "$f"`; done

bir dizindeki ve alt dizinlerdeki tüm dosyaları ve ilgili kodlamayı listeleyebilirsiniz.

Perl ile Encode :: Detect kullanın.