Unicode'daki olası tüm geçerli kombinasyonların sayımını açıklamayla birlikte istiyorum. Bir karakterin 1,2,3 veya 4 bayt olarak kodlanabileceğini biliyorum. Ayrıca, o karakterin başlangıç baytı ne kadar uzun olması gerektiğini temizlese de, devam baytlarının neden kısıtlamaları olduğunu anlamıyorum.
Yanıtlar:
Unicode'daki olası tüm geçerli kombinasyonların sayımını açıklamayla birlikte istiyorum.
1.111.998 : 17 uçak × uçak başına 65.536 karakter - 2048 vekil - 66 karakter olmayan
UTF-8 ve UTF-32'nin teorik olarak 17 düzlemden çok daha fazlasını kodlayabildiğini, ancak aralığın UTF-16 kodlamasının sınırlamalarına göre kısıtlandığını unutmayın .
137.929 kod noktası aslında Unicode 12.1'de atanmıştır .
Ayrıca, o karakterin başlangıç baytı ne kadar uzun olması gerektiğini temizlese de, devam baytlarının neden kısıtlamaları olduğunu anlamıyorum.
UTF-8'deki bu kısıtlamanın amacı, kodlamanın kendi kendini senkronize etmesini sağlamaktır .
Bir karşı örnek olarak, Çin GB 18030 kodlamasını düşünün . Orada, harf ß, 81 30 89 38rakamların kodlamasını içeren bayt dizisi olarak temsil edilir 0ve 8. Bu nedenle, bu kodlamaya özgü tuhaflık için tasarlanmamış bir dizge arama işleviniz varsa, rakam için yapılan bir arama 8harf içinde yanlış bir pozitif bulacaktır ß.
UTF-8'de, bu olamaz, çünkü baştaki baytlar ile iz baytları arasındaki örtüşmeme, daha kısa bir karakterin kodlamasının daha uzun bir karakterin kodlaması içinde asla gerçekleşemeyeceğini garanti eder.
Unicode , her biri 65,536 olası karakter (veya 'kod noktası') olan 17 düzlem için izin verir . Bu, toplam 1.114.112 olası karakter verir. Şu anda, bu alanın yalnızca yaklaşık% 10'u tahsis edilmiştir.
Bu kod noktalarının nasıl kodlandığına dair kesin ayrıntılar kodlamaya göre farklılık gösterir, ancak sorunuz UTF-8'i düşündüğünüz gibi görünmesini sağlar. Devam baytları üzerindeki kısıtlamaların nedeni muhtemelen bir sonraki karakterin başlangıcını bulmak kolaydır (çünkü devam karakterleri her zaman 10xxxxxx biçimindedir, ancak başlangıç baytı asla bu biçimde olamaz).
Unicode, 1.114.112 kod noktasını destekler. 1.112.064 skaler değer veren 2048 vekil kod noktası vardır. Bunlardan 66 karakter olmayan karakter vardır, bu da 1.111.998 olası kodlanmış karaktere yol açar (bir hesaplama hatası yapmadıysam).
Mecazi olarak doğru bir cevap vermek all of them,.
UTF-8 kodlamalarındaki devam baytları, kodlanmış sekizli akışının "satır gürültüsü" karşısında yeniden senkronizasyonuna izin verir. Kodlayıcının, sonraki baytın yeni bir karakter noktasının başlangıcı olduğunu bilmesi için, yalnızca 0x80 ile 0xBF arasında bir değere sahip olmayan bir baytı taraması gerekir.
Teorik olarak, bugün kullanılan kodlamalar, Unicode karakter sayısı 31 bit uzunluğa kadar olan karakterlerin ifadesine izin verir. Uygulamada, bu kodlama aslında maksimum uzunluktaki tweet'in 4.340 bitlik veriyi kodlayabildiği Twitter gibi hizmetlerde uygulanmaktadır. (140 karakter [geçerli ve geçersiz] çarpı 31 bit her biri.)
perl -le 'print ord "\x{1FFF_FFFF_FFFF}"'64 bitlik bir makinede 35184372088831 yazdırır, ancak 32 bitlik bir makinede tamsayı taşması verir. Eğer Perl programı içinde böyle büyük karakter kullanabilirsiniz, ancak utf8 olarak yazdırmak denerseniz, bir zorunlu uyarı olsun size devreden böyle olmadıkça: perl -le 'print "\x{1FFF_FFFF}"' Code point 0x1FFFFFFF is not Unicode, may not be portable at -e line 1. ######. "Gevşek utf8" ve "katı UTF-8" arasında bir fark vardır: eski kısıtlı değildir.
len(chr(0x10000))2 (kod birimi) vererek diyebilirim . OS X'in çekirdeği UTF-8 kullanıyor, doğru - ancak yüksek seviyeli API'ler (Cocoa vb.) UTF-16 kullanıyor.
[𝒜-𝒵], içinde BMP olmayan bazı kod noktalarıyla regex parantezli bir charclass eşleşmesi deneyin ve UTF-16'yı neden bir beceriksiz olarak gördüğümü göreceksiniz. Programcıların mantıksal karakterler yerine kodlama formlarını düşünmelerini sağlamak yanlıştır.
Unicode'un onaltılık miktarı 110000, yani 1114112
Wikipedia'ya göre Unicode 12.1 (Mayıs 2019'da piyasaya sürüldü) 137.994 farklı karakter içeriyor.