Kilobayt blok ve işaretçilerin tüm olası permütasyonlarının bir hatırası mümkün mü?

Bu, kafamı sarmak için yeterince zor bir fikir ve bildiğim kişiler için daha okunaklı olması için herhangi bir düzenleme / yardım için müteşekkirim.

Teorik olarak, bir kilobaytlık her olası ikili permütasyonun bir kopyasının bir kopyasına kaydedilmiş bir sabit sürücüye sahip olmak ve ardından sistemin geri kalanının bu konumlara basit bir şekilde işaretçiler koyması mümkün mü?

Bu şekilde yapılan bir sistem, bilgileri doğrudan saklamaktan daha hızlı mı olurdu?

Başka bir yolla açıklamak için, cümleleri kullanmak yerine:

"Merhaba, ben Bob." ve "Bu sandviç lezzetli görünüyor."

... sabit sürücüde saklanırsa, alfabenin ve diğer karakterlerin bir miktarına kadar (1000 karakter veya daha fazla karakter) tüm permütasyonlarına sahip oluruz ve sonra cümlelerimizi aşağıdaki gibi saklarız:

[İmleç # 21381723]

2 ⁸¹⁹² farklı 1K blok var. Hepsini saklamak için 2 ⁸²⁰² bit depolama alanı gerekir. Evren sadece yaklaşık 10 ⁸⁰ (veya ~ ²⁶⁶ ) parçacık içerdiğinden , hepsini saklamanın mümkün olmadığı ve zaman kazanıp kazanmayacağı konusunda endişelenmenize gerek yoktur.

Ancak, aslında buna cevap vermenin daha ilginç bir yolu var. Çok büyük bir sabit havuza indeks oluşturmayı öneriyorsunuz. Peki hangi endere uygunluğa düşeceğini nasıl bilebilirsin? Saklamak istediğiniz bir argüman uğruna düşünün sadece 1 karakterlik bloklar: a, b, c... olanlar blokları saklanması en verimli düzen beri Muhtemelen sizin endeksleri, 0, 1, 2 vb olacaktır.

Düzenleme hakkında bir şey farkettin mi? Dizininiz aslında saklanan verilerin kodlu bir gösterimidir ! Başka bir deyişle, hiçbir zaman kuralsızlaştırmanız gerekmez, dizini istediğiniz verilere dönüştürmeniz gerekir.

Bir nesnenin olası tüm değerlerini bir tabloda sakladığınızda , bu her zaman olur: Dizininiz yalnızca verilerin kendisinin kodlanmış bir sürümü olur, böylece verilerin depolanması ilk etapta gereksiz olur. Bu yüzden gerçek dünyada, endeksler seyrek veri (Ziyaret ettiğiniz gibi tüm web sayfaları değil, tüm web sayfaları için sadece yararlıdır var olabileceği , hatta tüm bu yapmak varoldukları için).

Diğerlerinin de belirttiği gibi 1k blok için 2 ^ 8192 imkanınız var. Bu, tüm blok adreslerinin aynı miktarda bit ile kodlanması durumunda bir bloğun adresini kodlamak için 8192 bit'in gerektiği anlamına gelir, bu nedenle adresleriniz 1k uzunluğunda olur. Bir dolaylı katman eklemek dışında hiçbir şey elde edemezsiniz, böylece herhangi bir performans elde edemezsiniz.

Daha kısa adreslere sahip olmak istemeniz durumunda, bazı blokları kısa bir adrese ve bazılarına daha uzun olanları kodlamanız ve uzun olanların bu kadar sık ​​görünmemesini sağlayacaksınız ve şimdi sadece verileri sıkıştırıyorsunuzdur (muhtemelen gibi bir şeyle) bir Huffman kodu ). Bu, kaydetmeden önce sakladığınız verileri veya kodlamadaki düzenli değişiklikleri gerektirir. Ayrıca muhtemelen değişken uzunluktaki blokları kullanan diğer sıkıştırma algoritmalarına göre daha az etkili olacaktır.

Bununla ilgili iki sorun var.

İlk olarak, "bir kilobaytın tüm olası ikili izinleri" çok büyük miktarda veridir. 1024 bayt * Bayt başına 8 bit = bir kilobaytta 8192 bit. Mümkün olan tüm izinler 2 ^ 8192 olacaktır. Bu 1.09e+2466kilobayt civarında! (Karşılaştırma amacıyla, 1 TB'lık bir sürücü 1e09kilobayttır.)

İkincisi, çok büyük bir tablonuz olsa ve işaretçilerle dizine eklemiş olsanız bile, tam olarak 1 KB'den küçük bir veriye başvurmak isteseydiniz ne yapardınız?

Diğer posterlerin belirttiği gibi, bir noktada, tüm olası değerler listenizde dizine almak için gereken işaretçinin boyutu kazancınızı geçersiz kılar.

Ancak, bazı diller bellek kullanımını optimize etmek için önerdiklerinizin sınırlı bir sürümünü kullanır. Python, bellekteki kopya dizelerin sayısını azaltmak için 'interning' dizesini kullanır. 'Python string intern' i arayarak daha fazla bilgi bulabilirsiniz.