İnsanların Unicode yerine Japonlara özgü kodlamaları kullanmalarına neden olan sorunlar nelerdir?

İşyerinde Shift-JIS ve diğer kodlamalarda birçok Japonca metin dosyasına rastladım. Tüm bilgisayar kullanıcıları için birçok mojibake (okunamayan karakter) sorununa neden olur . Unicode, bu tür bir sorunu tüm diller için tek bir karakter seti tanımlayarak çözmeyi amaçladı ve UTF-8 seri hale getirme işleminin İnternette kullanılması önerildi. Öyleyse neden herkes Japonca kodlamalardan UTF-8'e geçmiyor? UTF-8'in hangi sorunları veya dezavantajları insanları engelliyor?

EDIT: W3C Unicode ile ilgili bilinen bazı problemleri listeler , bu bir sebep olabilir mi?

Tek kelimeyle: miras.

Shift-JIS ve diğer kodlamalar, Unicode'u kullanıma sunmadan / popüler hale getirmeden önce kullanıldı, çünkü Japoncayı hiç kodlamanın tek yolu bu değildi. Şirketler sadece Shift-JIS'i destekleyen altyapıya yatırım yaptılar. Bu altyapı artık Unicode'u desteklese bile, hala kodlamadan ne işe yaramazsa , kodlamadan çok işe yaramayan çeşitli nedenlerden dolayı Shift-JIS'e takıldılar ? için göç-all-varolan-belgeler-is-çok-pahalı .

Aynı nedenlerden dolayı hala ASCII veya latin-1'i kullanan pek çok batılı şirket var, ancak hiç kimsenin bir soruna neden olmadığından hiçbir şey fark etmiyor.

Özellikle Japonya'da geliştirilen, UTF-8 veya başka bir Unicode gösterimini varsayılan kodlama dili kodlaması yapmamamın nedenini hatırlıyorum:

• Sebep 1: Han birleşmesi . Karakter kümeleri (burada "alfabe" nin doğru olup olmadığından emin değilsiniz), Çin, Kore ve Japonya'nın hepsi birbiriyle ilişkiliydi, ayrıntılar hakkında emin değillerdi, ortak tarihçeden gelişti. Unicode konsorsiyumu, görünümleri aynı 3 dilde de olsa, aynı karakterdeki tüm varyantları (Çince, Japonca ve Korece) kodlamak için yalnızca tek bir Unicode kod noktasını boşa harcama kararı aldı. Sebep, görünüş, metni görüntülemek için kullanılan font tarafından belirlenmelidir.

Anlaşılan, bu akıl yürütme, Japonca kullanıcılar tarafından saçma olduğu anlaşılıyor, çünkü Latince alfabesi Yunan alfabesinden geldiği için, Latin alfabesinin Yunan alfabesinden geldiği için, yalnızca tek bir kod noktasına sahip olmak yeterlidir. ” α "ve Latin" a "ve görünümün kullanılan font tarafından belirlenmesine izin verin. ("Β" = "b", "γ" = "g" vb. İçin aynı)

(Durum böyle olsaydı burada stackexchange'te yunanca karakterleri ekleyemeyeceğime dikkat edin.)

• Sebep 2: Yetersiz karakter dönüşümleri. Karakterleri Unicode'dan eski Japonca kodlamalara ve geriye dönüştürmek için tablolar gerekir, yani Unicode kod noktası değerinden eski kod noktası değerine basit bir hesaplama yoktur ve bunun tersi de geçerlidir. Ayrıca dönüştürürken bir miktar bilgi kaybı söz konusudur çünkü bir kodlamadaki tüm kod noktaları diğer kodlamada benzersiz bir gösterime sahip değildir.

Artık hatırlamamam için daha fazla sebep olabilir.

deceze'nin cevabının gerçeğe dair çok güçlü bir unsuru var, ancak Shift-JIS ve diğerlerinin hala kullanımda olmalarının bir başka nedeni daha var: UTF-8, çoğunlukla CJK setinde, bazı diller için korkunç derecede yetersiz. Shift-JIS, iki bayt genişliğinde bir kodlama olan IIRC'dir, UTF-8 ise CJK ve diğerleri ile kodlamalarında tipik olarak 3 bayt ve bazen 4 bayttır.

Başlıca nedenler arasında dize boyutu / bellek kullanımını sayın.

UTF-8'de, doğu-asya dilleri genellikle karakterleri için 3 veya daha fazla bayta ihtiyaç duyar. Ortalama olarak UTF-16'yı kullanmaya göre % 50 daha fazla belleğe ihtiyaçları vardır - ikincisi zaten yerel kodlamaya göre daha az verimlidir.

Diğer ana sebep, karar almanın belirttiği gibi miras olacaktır.

Diğerlerinin dediği gibi eski ve depolama büyüklüğü, ancak bir şey daha var: Katakana karakterleri.

Shift-JIS’de Katakana karakterlerini temsil etmek sadece bir bayt alır, bu yüzden Katakana dahil Japonca metin karakter başına 2 bayttan daha az sürer (50/50’lik bir karışım için 1.5); / char) ve UTF-8'den (3 byte / char) çok daha verimli.

Ucuz depolama bunu daha küçük bir problem haline getirmeliydi, ama görünüşe göre değil.