C ++ standart kitaplığı unicode'u ne kadar iyi destekler?
Korkunç.
Unicode desteği sağlayabilecek kütüphane olanakları arasında hızlıca tarama yapmak bana bu listeyi verir:
- Dizeler kütüphanesi
- Yerelleştirme kütüphanesi
- Giriş / çıkış kütüphanesi
- Normal ifadeler kütüphanesi
Bence ilk olanlar hariç hepsi korkunç bir destek sağlıyor. Diğer sorularınızı hızlıca geçtikten sonra daha ayrıntılı olarak geri döneceğim.
Ne std::stringyapmalı?
Evet. C ++ standardına göre, bu std::stringve kardeşlerinin yapması gerekenler:
Sınıf şablonu basic_string, sıranın birinci elemanı sıfır konumunda olmak üzere, değişen sayıda rasgele karakter benzeri nesneden oluşan bir sekansı depolayabilen nesneleri açıklar.
Peki, std::stringbu iyi mi. Unicode'a özgü işlevler sağlıyor mu? Hayır.
Olmalı mı? Muhtemelen değil. std::stringbir charnesne dizisi olarak iyidir . Bu yararlı; tek sıkıntı, metnin çok düşük düzeyli bir görünümü olması ve standart C ++ daha yüksek bir düzey sağlamasıdır.
Bunu nasıl kullanabilirim?
charNesnelerin bir sırası olarak kullanın ; sanki acıyla bitmek zorunda olan başka bir şeymiş gibi.
Potansiyel sorunlar nerede?
Her yerde? Bakalım...
Dizeler kütüphanesi
Dizeler kütüphanesi bize sağlar basic_string, bu sadece standardın "karakter benzeri nesneler" olarak adlandırdığı şeyin bir dizisidir. Onlara kod birimleri diyorum. Metnin üst düzey görünümünü istiyorsanız, aradığınız şey bu değildir. Bu, serileştirme / serileştirme / depolama için uygun bir metin görünümüdür.
Ayrıca, C kitaplığından dar dünya ile Unicode dünyası arasındaki boşluğu kapatmak için kullanılabilecek bazı araçlar sağlar: c16rtomb/ mbrtoc16ve c32rtomb/ mbrtoc32.
Yerelleştirme kütüphanesi
Yerelleştirme kütüphanesi hala bu "karakter benzeri nesnelerden" birinin bir "karakter" e eşit olduğuna inanmaktadır. Bu elbette aptalca ve ASCII gibi Unicode'un küçük bir alt kümesinin ötesinde düzgün bir şekilde çalışmayı mümkün kılmıyor.
Örneğin, standardın <locale>başlıkta "kolaylık arayüzleri" olarak adlandırdığı şeyi düşünün :
template <class charT> bool isspace (charT c, const locale& loc);
template <class charT> bool isprint (charT c, const locale& loc);
template <class charT> bool iscntrl (charT c, const locale& loc);
// ...
template <class charT> charT toupper(charT c, const locale& loc);
template <class charT> charT tolower(charT c, const locale& loc);
// ...
Bu işlevlerden herhangi birinin, örneğin U + 1F34C ʙᴀɴᴀɴᴀ 'yi u8"🍌"veya olduğu gibi düzgün bir şekilde kategorize etmesini nasıl beklersiniz u8"\U0001F34C"? Bu şekilde çalışmanın hiçbir yolu yoktur, çünkü bu işlevler giriş olarak yalnızca bir kod birimi alır.
Bu char32_tyalnızca uygun bir yerel ayarla işe yarayabilir : U'\U0001F34C'UTF-32'deki tek bir kod birimidir.
Bununla birlikte, bu hala sadece basit kasa dönüşümlerini aldığınız toupperve tolowerörneğin bazı Alman yerel ayarları için yeterince iyi olmadığı anlamına gelir : "ß" büyük harfleri "SS" ☦ 'ye döndürür, ancak toupperyalnızca bir karakter kod birimi döndürebilir .
Sırada, wstring_convert/ wbuffer_convertve standart kod dönüşümü yönü.
wstring_convertbir kodlamadaki dizeler arasında başka bir kodlamadaki dizelere dönüştürmek için kullanılır. Bu dönüşümde, standartın bayt dizesini ve geniş bir dizeyi çağırdığı iki dize türü vardır. Bu terimler gerçekten yanıltıcı olduğundan, † yerine "seri hale getirilmiş" ve "serileştirilmiş" kullanmayı tercih ederim.
Bir codecvt (bir kod çevrim faset) tarafından karar verilir arasında dönüştürmek için kodlamalar için şablon tipi bağımsız değişken olarak geçirilen wstring_convert.
wbuffer_convertbenzer bir işlevi yerine getirir, ancak bir bayt serileştirilmiş akış arabelleğini saran geniş bir serileştirilmiş olmayan akış tamponu olarak çalışır. Herhangi bir G / Ç, kodlayıcı argümanı tarafından verilen kodlamalara ve kodlamalardan dönüştürmelerle temel alınan bayt serileştirilmiş akış tamponu aracılığıyla gerçekleştirilir . Yazma bu ara belleğe serileştirir ve ondan yazar ve okuma ara belleğe okur ve sonra aradan serisini kaldırır.
Standart Bu tesislerde kullanılmak üzere bazı codecvt sınıfı şablonlar sağlar: codecvt_utf8, codecvt_utf16, codecvt_utf8_utf16ve bazı codecvtuzmanlık. Bu standart özellikler birlikte aşağıdaki dönüşümlerin tümünü sağlar. (Not: aşağıdaki listede, soldaki kodlama her zaman serileştirilmiş dize / streambuf'tur ve sağdaki kodlama her zaman deserialized dize / streambuf'tur; standart her iki yönde de dönüşümlere izin verir).
- UTF-8 ↔ UCS-2 ile
codecvt_utf8<char16_t>ve codecvt_utf8<wchar_t>nerede sizeof(wchar_t) == 2;
- UTF-8 ↔ UTF-32
codecvt_utf8<char32_t>, codecvt<char32_t, char, mbstate_t>ve ;codecvt_utf8<wchar_t>sizeof(wchar_t) == 4
- UTF-16 ↔ UCS-2 ile
codecvt_utf16<char16_t>ve codecvt_utf16<wchar_t>nerede sizeof(wchar_t) == 2;
- UTF-16 with UTF-32
codecvt_utf16<char32_t>ve codecvt_utf16<wchar_t>nerede sizeof(wchar_t) == 4;
- UTF-8 ↔ UTF-16
codecvt_utf8_utf16<char16_t>, codecvt<char16_t, char, mbstate_t>ve ;codecvt_utf8_utf16<wchar_t>sizeof(wchar_t) == 2
- ile dar
codecvt<wchar_t, char_t, mbstate_t>
- ile hayır-op
codecvt<char, char, mbstate_t>.
Bunların birçoğu faydalıdır, ancak burada bir sürü garip şey var.
İlk önce — kutsal yüksek vekil! bu adlandırma şeması dağınık.
Sonra bir sürü UCS-2 desteği var. UCS-2, 1996'da yerini alan Unicode 1.0'ın yalnızca temel çok dilli düzlemi desteklediği için bir kodlamadır. Komite neden 20 yıl önce yerini alan bir kodlamaya odaklanmak istediğini düşünüyor, bilmiyorum ‡. Daha fazla kodlama için destek kötü ya da herhangi bir şey gibi değil, ancak UCS-2 burada çok sık ortaya çıkıyor.
char16_tAçıkçası UTF-16 kod birimlerini saklamak için olduğunu söyleyebilirim . Ancak bu, standardın aksini düşünen bir parçasıdır. codecvt_utf8<char16_t>UTF-16 ile ilgisi yoktur. Örneğin, wstring_convert<codecvt_utf8<char16_t>>().to_bytes(u"\U0001F34C")iyi derlenecek, ancak koşulsuz olarak başarısız olacaktır: girdi UCS-2 dizesi olarak ele u"\xD83C\xDF4C"alınacaktır; UTF-8, 0xD800-0xDFFF aralığındaki herhangi bir değeri kodlayamadığı için UTF-8'e dönüştürülemez.
Yine de UCS-2 cephesinde, UTF-16 bayt akışından bu yönlerle UTF-16 dizesine okumak mümkün değildir. UTF-16 baytlık bir diziniz varsa dizginin serisini kaldıramazsınız char16_t. Bu şaşırtıcıdır, çünkü aşağı yukarı bir kimlik dönüşümüdür. Bununla birlikte, daha da şaşırtıcı olan, UTF-16 akışından bir UCS-2 dizesine serileştirme için destek olması gerçeğidir codecvt_utf16<char16_t>, bu aslında kayıplı bir dönüşümdür.
Bununla birlikte, bayt olarak UTF-16 desteği oldukça iyidir: bir Malzeme Listesindeki endianitenin algılanmasını veya kodda açıkça seçilmesini destekler. Ayrıca ürün ağacıyla veya ürün ağacı olmadan çıktı üretmeyi de destekler.
Daha ilginç dönüşüm olanakları yok. UTF-8 bayt akışından veya dizesinden UTF-8 dizesine serileştirmenin bir yolu yoktur, çünkü UTF-8 hiçbir zaman serileştirilmiş form olarak desteklenmez.
Ve burada dar / geniş dünya UTF / UCS dünyasından tamamen ayrı. Eski stil dar / geniş kodlamalar ile herhangi bir Unicode kodlamalar arasında dönüşüm yoktur.
Giriş / çıkış kütüphanesi
G / Ç kütüphanesi okumak ve Unicode kodlama yazma metni kullanarak için kullanılabilir wstring_convertve wbuffer_converttesisler yukarıda anlatılan. Standart kütüphanenin bu kısmı tarafından desteklenmesi gereken çok fazla şey olduğunu sanmıyorum.
Normal ifadeler kütüphanesi
Daha önce Stack Overflow C ++ regexes ve Unicode ile ilgili sorunlar üzerine açıkladı . Burada tüm bu noktaları tekrarlamak istemiyorum, ama sadece C ++ regexes her yerde UTF-32 kullanmaya başvurmadan kullanılabilir hale getirmek için minimum minimum seviye 1 Unicode desteği olmadığını belirtmek.
Bu kadar?
Evet, bu o. Mevcut işlevsellik budur. Normalleştirme veya metin segmentasyon algoritmaları gibi hiçbir yerde görülmeyen çok sayıda Unicode işlevi var.
U + 1F4A9 . C ++ ile daha iyi Unicode desteği almanın herhangi bir yolu var mı?
Olağan şüpheliler: ICU ve Boost.Locale .
† Bir bayt dizesi, şaşırtıcı olmayan bir şekilde, bir bayt dizisidir, yani charnesnelerdir. Ancak, her zaman bir nesne dizisi olan geniş bir dize değişmezinin aksine wchar_t, bu bağlamdaki bir "geniş dize" mutlaka bir wchar_tnesne dizesi değildir . Aslında, standart asla bir "geniş dize" nin ne anlama geldiğini açıkça tanımlamaz, bu yüzden kullanımdan anlamını tahmin etmeye bırakılırız. Standart terminoloji özensiz ve kafa karıştırıcı olduğu için, açıklık adına kendiminkini kullanıyorum.
UTF-16 gibi kodlamalar char16_t, daha sonra endianitesi olmayan diziler halinde saklanabilir ; veya endianiteye sahip bayt dizileri olarak saklanabilirler (ardışık her bayt çifti char16_tendianiteye bağlı olarak farklı bir değeri temsil edebilir ). Standart bu formların her ikisini de destekler. Bir dizi char16_t, programdaki dahili manipülasyon için daha kullanışlıdır. Bir bayt dizisi, bu dizeleri dış dünyayla değiştirmenin yoludur. "Bayt" ve "geniş" yerine kullanacağım terimler "serileştirilmiş" ve "serileştirilmiş" olur.
"" Ama Windows! "Demek üzereyseniz tutun 🐎🐎 . Windows 2000'den bu yana tüm Windows sürümleri UTF-16 kullanır.
☦ Evet, ben Eszett großes (ẞ) biliyorum , ama bir gecede ß büyük harf have için tüm Alman yerel değiştirmek için bile, bu başarısız olacağı birçok durumda hala var. Büyük U + FB00 ʟᴀᴛɪɴ sᴍᴀʟʟ ʟɪɢᴀᴛᴜʀᴇ ʟɪɢᴀᴛᴜʀᴇ yazmayı deneyin. ʟᴀᴛɪɴ ᴄᴀᴘɪᴛᴀʟ ʟɪɢᴀᴛᴜʀᴇ ғғ yoktur; sadece iki F'ye karşılık gelir. Veya U + 01F0 ʟᴀᴛɪɴ sᴍᴀʟʟ ʟᴇᴛᴛᴇʀ ᴊ ᴡɪᴛʜ ᴄᴀʀᴏɴ; önceden oluşturulmuş sermaye yoktur; sadece bir başkent J ve kombine bir caron'un üstünü kaplar.