Metin dosyalarını karakter setleri arasında dönüştürmek için en hızlı, en kolay araç veya yöntem nedir?

Özellikle, UTF-8'den ISO-8859-15'e ve tam tersine dönüştürmem gerekiyor.

Her şey geçerli: en sevdiğiniz kodlama dilinde bir satır, komut satırı araçları veya işletim sistemi, web siteleri vb. İçin diğer yardımcı programlar.

Şimdiye kadarki en iyi çözümler:

Linux / UNIX / OS X / cygwin'de:

• Troels Arvin tarafından önerilen Gnu iconv en iyi filtre olarak kullanılır . Evrensel olarak erişilebilir gibi görünüyor. Misal:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Ben'in de işaret ettiği gibi , iconv kullanan bir çevrimiçi dönüştürücü var .

• Cheekysoft tarafından önerilen GNU recode ( manuel ) , bir veya birkaç dosyayı yerinde dönüştürecektir . Misal:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Bu, daha kısa takma adlar kullanır:

  $ recode utf8..l9 in.txt
  

  Recode ayrıca farklı satır sonu türleri ve kodlamalar arasında dönüştürme yapmak için kullanılabilecek yüzeyleri de destekler :

  Yeni satırları LF'den (Unix) CR-LF'ye (DOS) dönüştürün:

  $ recode ../CR-LF in.txt
  

  Base64 kodlama dosyası:

  $ recode ../Base64 in.txt
  

  Bunları da birleştirebilirsiniz.

  Unix satır sonlarına sahip Base64 kodlu UTF8 dosyasını Dos satır sonlarına sahip Base64 kodlu Latin 1 dosyasına dönüştürün:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

Powershell ( Jay Bazuzi ) bulunan Windows'ta :

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Yine de ISO-8859-15 desteği yok; desteklenen karakter kümelerinin unicode, utf7, utf8, utf32, ascii, bigendianunicode, varsayılan ve oem olduğunu söylüyor.)

Düzenle

Şunu mu demek istediniz: iso-8859-1 destek? "String" kullanmak bunu yapar, örn.

gc -en string in.txt | Out-File -en utf8 out.txt

Not: Olası numaralandırma değerleri "Bilinmeyen, Dize, Unicode, Bayt, BigEndianUnicode, UTF8, UTF7, Ascii" dir.

• CsCvt - Kalytta'nın Karakter Seti Dönüştürücü , Windows için başka bir harika komut satırı tabanlı dönüşüm aracıdır.

Bağımsız yarar yaklaşımı

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Bu bağımsız değişkenlerden hiçbirini belirtmeniz gerekmez. Varsayılan olarak, genellikle UTF-8 olan geçerli yerel ayarınız olur.

VIM'i deneyin

Eğer varsa vimbunu kullanabilirsiniz:

Her kodlama için test edilmemiştir.

Bunun en güzel yanı, kaynak kodlamasını bilmek zorunda olmamanızdır.

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Bu komutun doğrudan dosyayı değiştirdiğini unutmayın

Açıklama bölümü!

1. +: Bir dosyayı açarken doğrudan komut girmek için vim tarafından kullanılır. Genellikle belirli bir satırda bir dosyayı açmak için kullanılır:vim +14 file.txt
2. |: Çoklu komutların ayırıcısı ( ;bash gibi )
3. set nobomb : utf-8 ürün ağacı yok
4. set fenc=utf8: Yeni kodlamayı utf-8 doc bağlantısına ayarla
5. x : Dosyayı kaydet ve kapat
6. filename.txt : dosya yolu
7. ": Qotes borular yüzünden burada. (aksi takdirde bash onları bash borusu olarak kullanacaktır)

Linux altında , farklı karakter kümeleri ve satır sonu sorunları arasında denemek ve dönüştürmek için çok güçlü recode komutunu kullanabilirsiniz. recode -l size aracın dönüştürebileceği tüm biçimleri ve kodlamaları gösterir. ÇOK uzun bir liste olması muhtemeldir.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Ayrıca birçok dilde iconv tabanlı araçlar da var.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

BOM girişinin doğru olduğunu varsayabilirseniz en kısa sürüm:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

İconv Bash işlevini deneyin

Bunu içine koydum .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

.. gibi dosyaları dönüştürmek için:

utf8 MyClass.java

Notepad ++ 'ı deneyin

Windows'ta ben den dönüştürme yapmak için Notepad ++ kullanmayı başardı ISO-8859-1 için UTF-8 . Öğesini "Encoding"ve ardından öğesini tıklayın "Convert to UTF-8".

Otomatik karakter seti algılamasıyla find özelliğini kullanan Oneliner

Eşleşen tüm metin dosyalarının karakter kodlaması otomatik olarak algılanır ve eşleşen tüm metin dosyaları utf-8kodlamaya dönüştürülür :

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Şu adımları gerçekleştirmek için, bir alt kabuk shile kullanıldığında -execbir tek astar çalışan -cbayrağı ve konumsal argüman olarak dosya adı geçen "$1"ile -- {}. Arasında, utf-8çıktı dosyası geçici olarak adlandırılır converted.

Nerede file -bi:

• -b, --brief Çıktı satırlarına dosya adlarının başına başlamayın (kısa mod).

• -i, --mime Dosya komutunun daha geleneksel insan tarafından okunabilir olanlar yerine mime türü dizeler vermesine neden olur. Böylece, örneğin, text/plain; charset=us-asciiyerine söyleyebilir ASCII text. sedYalnızca komut keser bu us-asciikadar gereklidir iconv.

findKomut Böyle bir dosya yönetim otomasyonu için çok yararlıdır. Daha fazla findbolluk için buraya tıklayın .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: Kod sayfasını kullan

chcp 65001>NUL
type ascii.txt > unicode.txt

chcpKod sayfasını değiştirmek için komut kullanılabilir. Kod sayfası 65001, UTF-8 için Microsoft adıdır. Kod sayfası ayarlandıktan sonra, aşağıdaki komutlar tarafından üretilen çıktı kod sayfası kümesinden olur.

özellikler dosyası (Java) yazmak için normalde linux (nane ve ubuntu dağıtımları) kullanın:

$ native2ascii filename.properties

Örneğin:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

Not: Özel karakterleri zorlamak için Portekiz'deki İcra numarasını bir / iki yazdım.

Benim durumumda, ilk yürütmede bu mesajı aldım:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

İlk seçeneği (gcj-5-jdk) yüklediğimde sorun tamamlandı.

Umarım bu birine yardım eder.

Yakut ile:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Kaynak: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Bu Python komut dosyasını kullanın: https://github.com/goerz/convert_encoding.py Herhangi bir platformda çalışır. Python 2.7 gerektirir.

Bunun için en sevdiğim araç, iki çok kullanışlı özelliğe sahip Jedit (java tabanlı bir metin editörü):

• Kullanıcının farklı bir kodlama ile bir metni yeniden yüklemesini sağlayan (ve sonucu görsel olarak kontrol etmek için)
• Kullanıcının kaydetmeden önce kodlamayı (ve satır sonu karakterini) açıkça seçmesini sağlayan başka bir kod

Mevcut karakter kümesinin belirtildiği durum çubuğunun (altta) sağındaki IntelliJ IDEA IDE'de yüklü dosyanın kodlamasını değiştirmeniz yeterlidir. Yeniden Yükle veya Dönüştür, Dönüştür'ü kullanır. Orijinal dosyayı önceden yedeklediğinizden emin olun.

MacOS GUI uygulamaları ekmek ve tereyağınızsa, SubEthaEdit genellikle kodlama- wrangling için gittiğim metin editörüdür - "dönüşüm önizlemesi", çıkış kodlamasındaki tüm geçersiz karakterleri görmenizi ve bunları düzeltmenizi / kaldırmanızı sağlar.

Ve şimdi açık kaynak kodlu , bu yüzden onlar için yay 😉.

Açıklandığı gibi nasıl karakter bir dosyanın kodlama düzeltirim? Senkronize Et! OS X'te ICU kitaplığı tarafından desteklenen tüm kodlamalar arasında kolayca dönüştürme yapmanızı sağlar .

Ayrıca, tüm kodlamalardan Unicode'a çevrilmiş bir dosyanın baytını hızlı bir şekilde görmek için dosyanızın doğru olanını hızlı bir şekilde görebilirsiniz.