Mysql: 1,4 milyar kayıtta endeks yarat

1,4 milyar kayıtlı bir masam var. Tablo yapısı aşağıdaki gibidir:

CREATE TABLE text_page (
    text VARCHAR(255),
    page_id INT UNSIGNED
) ENGINE=MYISAM DEFAULT CHARSET=ascii

Gereksinim, sütun üzerinde bir dizin oluşturmaktır text.

Tablo boyutu yaklaşık 34G'dir.

Aşağıdaki ifade ile dizin oluşturmaya çalıştım:

ALTER TABLE text_page ADD KEY ix_text (text)

10 saat bekledikten sonra nihayet bu yaklaşımı bıraktım.

Bu soruna uygulanabilir bir çözüm var mı?

GÜNCELLEME : tablonun güncellenmesi, eklenmesi veya silinmesi olası değildir. Sütunda dizin oluşturmanın textnedeni, bu tür sql sorgusunun sık sık yürütülmesidir:

SELECT page_id FROM text_page WHERE text = ?

GÜNCELLEME : Sorunu tabloyu bölümlere ayırarak çözdüm.

Tablo sütun üzerinde 40 parçaya bölünmüştür text. Ardından tablo üzerinde dizin oluşturma işleminin tamamlanması yaklaşık 1 saat sürer.

Tablo boyutu çok büyüdüğünde MySQL dizin oluşturma çok yavaş görünüyor. Ve bölümleme, tabloyu daha küçük gövdelere indirir.

Sisteminiz sadece göreve uygun olmayabilir mi? MySQL (burada SQL Server) kullanmıyorum, ama 800 milyon giriş tablosunu endekslemenin acısını biliyorum. Temel olarak .... bunun için doğru donanıma ihtiyacınız var (birçok hızlı diskte olduğu gibi). Şimdi neredeyse bir düzine Velociraptors kullanıyorum ve performans harika;)

SQL Server'lar (MS SQL Server olarak değil, SQL kullanan veritabanı sunucuları olarak) disk erişimi ile yaşar ve ölür ve normal diskler daha büyük işlemlerin görevine bağlı değildir.

Metin alanının ilk (örneğin, 10) karakteri üzerinde bir dizin oluşturmak isteyebilirsiniz.

Dokümanlar'dan:

Bir dizin önek uzunluğu belirtmek için col_name (length) sözdizimini kullanarak sütun değerlerinin yalnızca önde gelen bölümünü kullanan dizinler oluşturulabilir:

CREATE INDEX ix_text ON text_page (text(10))

Tabloyu bölümlere ayırarak sorunu çözdüm.

Tablo sütun üzerinde 40 parçaya bölünmüştür text. Ardından tablo üzerinde dizin oluşturma işleminin tamamlanması yaklaşık 1 saat sürer.

Tablo boyutu çok büyüdüğünde MySQL dizin oluşturma çok yavaş görünüyor. Ve bölümleme, tabloyu daha küçük gövdelere indirir.

Sort_buffer_size değerini 4GB olarak ayarlayın (veya ne kadar belleğiniz olduğuna bağlı olarak yapabilirsiniz).

Şu anda oluşturma dizini bir sıralama yapıyor ancak 32MB sort_buffer_size'ye sahip olduğunuz için temelde sabit sürücüyü gereksiz yere çöker.

Şunun gibi sorgular yapmanız gerekmiyorsa:

SELECT page_id FROM text_page WHERE text LIKE '?%';

Yeni bir karma sütun oluşturmayı ve sütuna göre tabloyu dizin öneririz. Tablo + dizininin genel boyutu çok daha küçük olabilir.

UPD : Bu arada, 1.4 milyar birincil anahtar tamsayı yaklaşık 6 GB yer kaplıyor, yani dizenin ortalama uzunluğu 30 karakterden az, yani bir önek üzerinde dizin oluşturmak daha fazla tercih edilebilir.

Ayrıca MERGE depolama motoruna da göz atmalısınız .

Bunu yapmanın bir yolu, dizin kümesiyle yeni bir tablo oluşturmak ve verileri yeni tabloya kopyalamaktır.

Ayrıca, yeterli sıcaklık alanınız olduğundan emin olun.

Hala bunu en iyi şekilde nasıl yapacağınızı merak ediyorsanız, bir çevrimiçi değiştirme tablosu aracı kullanmanızı öneririm.

İnternette birçoğu var, ünlülerden biri:

• Percona çevrimiçi şema değişikliği (Bunu kullanıyorum)
  http://www.percona.com/doc/percona-toolkit/2.2/pt-online-schema-change.html
• Facebook OSC, indirebileceğiniz bir URL bulamadım

Büyük tablolarla aynı sorunlara sahibiz (500mil'den fazla kayıt) ve değiştirme mükemmelleşiyor. Yeni bir tmp tablosu oluşturur, orijinal tabloya tetikleyici ekler (yeni güncelleme / sil / kayıt ekle) ve bu arada tüm kayıtları yeni tabloya kopyalar (yeni yapı ile)

İyi şanslar!