Metin dosyası kodlamasını otomatik olarak nasıl saptayabilirim?

Değişken karakter kümelerinde kodlanmış birçok düz metin dosyası vardır.

Hepsini UTF-8'e dönüştürmek istiyorum, ancak iconv komutunu çalıştırmadan önce orijinal kodlamasını bilmem gerekiyor. Çoğu tarayıcı Auto Detectkodlamada bir seçeneğe sahiptir, ancak bu metin dosyalarını tek tek kontrol edemiyorum çünkü çok fazla var.

Sadece orijinal kodlamayı bilerek, o zaman metinleri dönüştürebilirim iconv -f DETECTED_CHARSET -t utf-8.

Düz metin dosyalarının kodlamasını tespit etmek için herhangi bir yardımcı program var mı? % 100 mükemmel olmak zorunda DEĞİLDİR, 1.000.000 dosyada yanlış dönüştürülmüş 100 dosya olup olmadığını umursamıyorum.

PyPi'de bulunan chardet Python modülünü deneyin :

pip install chardet

O zaman koş chardetect myfile.txt.

Chardet, Mozilla tarafından kullanılan tespit koduna dayanmaktadır , bu nedenle girdi metninin istatistiksel analiz için yeterince uzun olması şartıyla makul sonuçlar vermesi gerekir. Proje belgelerini okuyunuz .

Yorumlarda belirtildiği gibi oldukça yavaştır, ancak bazı dağıtımlar orijinal C ++ sürümünü de, @Xavier'nin https://superuser.com/a/609056 adresinde bulduğu şekilde gönderir . Ayrıca bir yerde bir Java sürümü var.

Bu basit komutu kullanırdım:

encoding=$(file -bi myfile.txt)

Veya sadece gerçek karakter setini (gibi utf-8) istiyorsanız :

encoding=$(file -b --mime-encoding myfile.txt)

Debian tabanlı Linux'ta, uchardet paketi ( Debian / Ubuntu ) bir komut satırı aracı sağlar. Paket açıklamasına bakınız:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Linux için, enca var ve Solaris için auto_ef kullanabilirsiniz .

Mozilla, web sayfalarında otomatik algılama için hoş bir kod tabanına sahiptir:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Algoritmanın ayrıntılı açıklaması:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Chardet'e geri dönmek (python 2.?) Bu çağrı yeterli olabilir:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Mükemmel olmaktan uzak olsa da ....

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Düzenli olarak Emacs kullananlar için, aşağıdakileri yararlı bulabilirler (transfomasyonu elle kontrol etmenizi ve doğrulamanızı sağlar).

Ayrıca, Emacs'in char-set otomatik algılama özelliğinin, diğer char-set otomatik algılama araçlarından (örneğin, chardet) çok daha etkili olduğunu da sık sık buluyorum.

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Ardından, bu komut dosyasıyla Emacs'a basit bir çağrı (argüman olarak bakınız "-l" seçeneğine bakın) işi yapar.

UTFCast bir denemeye değer. Benim için işe yaramadı (belki de dosyalarım berbat olduğu için) ama iyi görünüyor.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

isutf8( moreutilspaketten) işi yaptı

Ayrıca -i dosyanız durumunda, bilinmeyen bir şey veriyorsa

Karakter kümesini aşağıdaki gibi tahmin edebilen bu php komutunu kullanabilirsiniz:

PHP'de aşağıdaki gibi kontrol edebilirsiniz:

Kodlama listesini açıkça belirtme:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Daha doğru " mb_list_encodings ":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Burada ilk örnekte, eşleşen olabilecek kodlamaların bir listesini koyduğumu (liste sırasını algıladığımı) görebilirsiniz. Daha kesin sonuç almak için, mümkün olan tüm kodlamaları: mb_list_encodings () ile kullanabilirsiniz.

Not mb_ * işlevleri php-mbstring gerektirir

apt-get install php-mbstring 

Cevabı gör: https://stackoverflow.com/a/57010566/3382822