Bir metin dosyasının kodlamasını / kod sayfasını nasıl tespit edebilirim

Bizim uygulamada, biz metin dosyaları (almak .txt, .csvçeşitli kaynaklardan, vs.). Okurken, bu dosyalar bazen çöp içerir, çünkü farklı / bilinmeyen bir kod sayfasında oluşturulan dosyalar.

Bir metin dosyasının kod sayfasını (otomatik olarak) tespit etmenin bir yolu var mı?

detectEncodingFromByteOrderMarksÜzerinde StreamReaderyapıcı, çalışır UTF8 ve diğer unicode işaretli dosyalar fakat bunun, kod sayfalarını tespit etmek için bir yol arıyorum ibm850, windows1252.

Cevaplarınız için teşekkürler, yaptığım şey bu.

Aldığımız dosyalar son kullanıcılardan, kod sayfaları hakkında bir ipucu yok. Alıcılar da son kullanıcı, şimdiye kadar kod sayfaları hakkında bildikleri şey bu: Kod sayfaları var ve sinir bozucu.

Çözüm:

• Alınan dosyayı Not Defteri'nde açın, bozuk bir metin parçasına bakın. Eğer birine François falan denirse, insan zekanızla bunu tahmin edebilirsiniz.
• Kullanıcının dosyayı açmak için kullanabileceği küçük bir uygulama oluşturdum ve doğru kod sayfası kullanıldığında kullanıcının dosyada görüneceğini bildiği bir metin girdim.
• Tüm kod sayfalarında dolaşın ve kullanıcı tarafından sağlanan metinle çözüm sağlayanları görüntüleyin.
• Birden fazla kod sayfası açılırsa kullanıcıdan daha fazla metin belirtmesini isteyin.

Kod sayfasını tespit edemezsiniz, size söylenmelidir. Baytları analiz edebilir ve tahmin edebilirsiniz, ancak bu bazı tuhaf (bazen eğlenceli) sonuçlar verebilir. Şimdi bulamıyorum, ama eminim Not Defteri Çince metin görüntülemek için kandırılabilir.

Her neyse, bu okumanız gereken şey: Mutlak Minimum Her Yazılım Geliştiricisi Kesinlikle, Olumlu Unicode ve Karakter Kümeleri Hakkında Bilmelisiniz (Bahane Yok!) .

Özellikle Joel diyor ki:

Kodlamalar Hakkında En Önemli Gerçek

Açıkladığım her şeyi tamamen unutursanız, lütfen son derece önemli bir gerçeği unutmayın. Hangi kodlamayı kullandığını bilmeden bir dizeye sahip olmak mantıklı değildir. Artık kafanı kuma sokamaz ve "düz" metnin ASCII olduğunu iddia edemezsin. Düz Metin diye bir şey yoktur.

Dizede, bellekte, dosyada veya e-posta iletisinde bir dize varsa, kodlamanın içinde olduğunu bilmeniz gerekir veya onu yorumlayamaz veya kullanıcılara doğru görüntüleyemezsiniz.

UTF olmayan kodlamaları (yani BOM yok) tespit etmek istiyorsanız, temel olarak metnin sezgisel tarama ve istatistiksel analizine bağlısınız. Evrensel karakter kümesi algılama ile ilgili Mozilla makalesine göz atmak isteyebilirsiniz ( Wayback Machine ile daha iyi biçimlendirme ile aynı bağlantı ).

Mozilla Universal Charset Detector için C # portunu denediniz mi?

Http://code.google.com/p/ude/ adresinden bir örnek

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}    

Kod sayfasını tespit edemezsiniz

Bu açıkça yanlış. Her web tarayıcısında herhangi bir kodlama belirtisi olmayan sayfalarla uğraşmak için bir tür evrensel karakter dedektörü vardır. Firefox'ta bir tane var. Kodu indirebilir ve nasıl yaptığını görebilirsiniz. Buradaki bazı belgelere bakın . Temel olarak, sezgisel, ama gerçekten iyi çalışan biri.

Makul miktarda metin verildiğinde, dili algılamak bile mümkündür.

İşte Google'ı kullanarak yeni bulduğum bir tane daha :

Bu soru için çok geç olduğunu biliyorum ve bu çözüm bazılarına hitap etmeyecek (İngiliz merkezli önyargıları ve istatistiksel / ampirik test eksikliği nedeniyle), ancak özellikle yüklenen CSV verilerini işlemek için benim için çok iyi çalıştı:

http://www.architectshack.com/TextFileEncodingDetector.ashx

Avantajları:

• Dahili BOM algılama
• Varsayılan / yedek kodlama özelleştirilebilir
• UTF-8 ve Latin-1 tarzı dosyaların bir karışımı ile bazı egzotik veriler (örneğin Fransız isimleri) içeren batı-avrupa tabanlı dosyalar için oldukça güvenilirdir (benim deneyimime göre) - temel olarak ABD ve batı avrupa ortamlarının büyük bir kısmı.

Not: Bu sınıfı yazan kişi benim, bu yüzden açıkça bir tane tuzla al! :)

Notepad ++ , bu özelliği kullanıma hazır olarak sunar. Ayrıca değiştirmeyi de destekler.

Farklı bir çözüm arıyorum, buldum ki

https://code.google.com/p/ude/

bu çözüm biraz ağırdır.

Ben 4 ilk bayt ve muhtemelen xml charset algılama dayalı bazı temel kodlama algılama gerekli - bu yüzden internetten bazı örnek kaynak kodu aldı ve biraz değiştirilmiş sürümü ekledim

http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html

Java için yazılmıştır.

    public static Encoding DetectEncoding(byte[] fileContent)
    {
        if (fileContent == null)
            throw new ArgumentNullException();

        if (fileContent.Length < 2)
            return Encoding.ASCII;      // Default fallback

        if (fileContent[0] == 0xff
            && fileContent[1] == 0xfe
            && (fileContent.Length < 4
                || fileContent[2] != 0
                || fileContent[3] != 0
                )
            )
            return Encoding.Unicode;

        if (fileContent[0] == 0xfe
            && fileContent[1] == 0xff
            )
            return Encoding.BigEndianUnicode;

        if (fileContent.Length < 3)
            return null;

        if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
            return Encoding.UTF8;

        if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
            return Encoding.UTF7;

        if (fileContent.Length < 4)
            return null;

        if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
            return Encoding.UTF32;

        if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
            return Encoding.GetEncoding(12001);

        String probe;
        int len = fileContent.Length;

        if( fileContent.Length >= 128 ) len = 128;
        probe = Encoding.ASCII.GetString(fileContent, 0, len);

        MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
        // Add '[0].Groups[1].Value' to the end to test regex

        if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
        {
            // Typically picks up 'UTF-8' string
            Encoding enc = null;

            try {
                enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
            }catch (Exception ) { }

            if( enc != null )
                return enc;
        }

        return Encoding.ASCII;      // Default fallback
    }

Muhtemelen ilk 1024 baytı dosyadan okumak yeterlidir, ancak tüm dosyayı yüklüyorum.

Birisi% 93.9'luk bir çözüm arıyorsa. Bu benim için çalışıyor:

public static class StreamExtension
{
    /// <summary>
    /// Convert the content to a string.
    /// </summary>
    /// <param name="stream">The stream.</param>
    /// <returns></returns>
    public static string ReadAsString(this Stream stream)
    {
        var startPosition = stream.Position;
        try
        {
            // 1. Check for a BOM
            // 2. or try with UTF-8. The most (86.3%) used encoding. Visit: http://w3techs.com/technologies/overview/character_encoding/all/
            var streamReader = new StreamReader(stream, new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true), detectEncodingFromByteOrderMarks: true);
            return streamReader.ReadToEnd();
        }
        catch (DecoderFallbackException ex)
        {
            stream.Position = startPosition;

            // 3. The second most (6.7%) used encoding is ISO-8859-1. So use Windows-1252 (0.9%, also know as ANSI), which is a superset of ISO-8859-1.
            var streamReader = new StreamReader(stream, Encoding.GetEncoding(1252));
            return streamReader.ReadToEnd();
        }
    }
}

Python'da benzer bir şey yaptım. Temel olarak, kayan iki baytlık bir pencere tarafından parçalanan ve bir sözlükte (karma) saklanan, kodlama listelerinin değerlerini sağlayan bayt çiftlerine anahtarlanan çeşitli kodlamalardan çok sayıda örnek verilere ihtiyacınız vardır.

Sözlüğün (karma) verildiği takdirde, giriş metninizi alırsınız ve:

• herhangi bir BOM karakteriyle başlarsa (UTF-16-BE için '\ xfe \ xff', UTF-16-LE için '\ xff \ xfe', UTF-8 vb için '\ xef \ xbb \ xbf'), I önerildiği gibi davran
• değilse, metnin yeterince büyük bir örneğini alın, örneğin tüm bayt çiftlerini alın ve sözlükten önerilen en az yaygın olan kodlamayı seçin.

Ayrıca do UTF kodlanmış metinleri örneklenmiş ettiyseniz değil herhangi BOM ile başlamak, ikinci aşama ilk adımdan kaymış olanlar kapsayacaktır.

Şimdiye kadar, azalan hata oranları ile benim için çalışıyor (örnek veriler ve sonraki giriş verileri çeşitli dillerde altyazılar).

"Uchardet" aracı her karakter için karakter frekansı dağıtım modellerini kullanarak bunu iyi yapar. Daha büyük dosyalar ve daha "tipik" dosyalar daha fazla güvendeler.

Ubuntu'da, sadece apt-get install uchardet.

Diğer sistemlerde kaynağı, kullanımı ve dokümanları buradan edinebilirsiniz: https://github.com/BYVoid/uchardet

StreamReader sınıfının yapıcısı 'kodlamayı algıla' parametresini alır.

Bir C kütüphanesine bağlanabiliyorsanız kullanabilirsiniz libenca. Bkz. Http://cihar.com/software/enca/ . Man sayfasından:

Enca, hiçbiri verilmediğinde verilen metin dosyalarını veya standart girdiyi okur ve kodlarını belirlemek için kendi dilleri (sizin tarafınızdan desteklenmesi gerekir) ve ayrıştırma, istatistiksel analiz, tahmin ve kara büyü karışımı kullanır.

Bu GPL v2.

Aynı sorunu var ama otomatik olarak tespit etmek için henüz iyi bir çözüm bulamadı. Şimdi bunun için PsPad (www.pspad.com) kullanarak im;) iyi çalışıyor

Temel olarak buluşsal yöntemlere geldiğinden, daha önce alınan dosyaların ilk ipucu ile aynı kaynaktan kodlanmasını kullanmak yardımcı olabilir.

Çoğu kişi (veya uygulama) her seferinde hemen hemen aynı sırada, genellikle aynı makinede işler yapar, bu yüzden Bob bir .csv dosyası oluşturup Mary'ye gönderdiğinde her zaman Windows-1252 veya makine varsayılanı ne olursa olsun.

Mümkünse biraz müşteri eğitimi de asla acıtmaz :-)

Aslında dosya kodlamasını saptamanın genel bir programlama yolu değil, ama henüz bulamadım. Farklı kodlamalar ile test ederek bulduğum şey, metnimin UTF-7 olmasıydı.

Yani ilk yaptığım yerde: StreamReader file = File.OpenText (fullfilename);

Bunu değiştirmek zorunda kaldım: StreamReader dosyası = yeni StreamReader (fullfilename, System.Text.Encoding.UTF7);

OpenText, UTF-8 olduğunu varsayar.

StreamReader'ı bu yeni StreamReader (fullfilename, true) gibi de oluşturabilirsiniz, ikinci parametre, dosyanın byteordermarkinden kodlamayı denemesi ve algılaması gerektiği anlamına gelir, ancak benim durumumda işe yaramadı.

AkelPad'de dosyayı açın (veya sadece bozuk bir metni kopyalayıp yapıştırın), Düzenle -> Seçim -> Yeniden kodla ... -> "Otomatik Algıla" yı işaretleyin.

ITmeze yazısına ek olarak, bu işlevi Mozilla Universal Charset Detector için C # portunun çıkışını dönüştürmek için kullandım

    private Encoding GetEncodingFromString(string codePageName)
    {
        try
        {
            return Encoding.GetEncoding(codePageName);
        }
        catch
        {
            return Encoding.ASCII;
        }
    }

MSDN

Erik Aronesty'den bahsettiğiniz için teşekkürler uchardet.

Bu arada linux için (same?) Aracı var chardet.
Veya, cygwin üzerinde kullanmak isteyebilirsiniz: chardetect.

Bkz: pazı takımı sayfası: https://www.commandlinux.com/man-page/man1/chardetect.1.html

Bu, verilen her dosya için karakter kodlamasını sezgisel olarak algılar (tahmin eder) ve her dosyanın algılanan karakter kodlaması için ad ve güven düzeyini bildirir.

Bir dosyayı okurken Unicode ve windows varsayılan ansi kod sayfasını algılamak için bu kodu kullanın. Diğer kodlamalar için, manuel olarak veya programlama yoluyla içerik kontrolü gereklidir. Bu, metni açıldığı zamanki kodlamayla kaydetmek için de kullanılabilir. (VB.NET kullanıyorum)

'Works for Default and unicode (auto detect)
Dim mystreamreader As New StreamReader(LocalFileName, Encoding.Default) 
MyEditTextBox.Text = mystreamreader.ReadToEnd()
Debug.Print(mystreamreader.CurrentEncoding.CodePage) 'Autodetected encoding
mystreamreader.Close()

Bu sorulduğundan beri 10Y (!) Geçmişti ve hala MS'in iyi, GPL olmayan çözümü: IMultiLanguage2 API'sından bahsetmiyorum .

Daha önce bahsedilen kütüphanelerin çoğu Mozilla'nın UDE'sine dayanmaktadır - ve tarayıcıların zaten benzer sorunları çözdüğü makul görünmektedir. Chrome'un çözümü nedir bilmiyorum, ama IE 5.0 MS kendi yayınladı beri ve o:

1. GPL ve benzeri lisanslama sorunları içermez,
2. Muhtemelen sonsuza dek desteklenmeli ve korunmalı,
3. Zengin çıktılar verir - güven puanlarıyla birlikte kodlama / kod sayfaları için tüm geçerli adaylar,
4. Şaşırtıcı derecede kullanımı kolay (tek bir işlev çağrısıdır).

Yerel bir COM çağrısıdır, ancak işte Carsten Zeumer'ın .net kullanımı için birlikte çalışabilirlik karmaşasını ele alan çok güzel bir çalışma . Etrafında başkaları da var, ancak bu kütüphane genel olarak hak ettiği ilgiyi görmüyor.