Çok büyük mysql tablolarının sütunlarını, kesinti süresi çok az olan veya hiç olmayan değiştirme

Periyodik olarak, çoğunlukla sütun ekleyerek mysql 5.1 tablolarda değişiklik yapmam gerekiyor. Alter table komutu ile çok basit. Ama şu anda 40 milyon sıraya kadar tablolarım var ve hızla büyüyorlar ... Yani bu değiştirme tablo komutları birkaç saat sürüyor. Birkaç ay içinde tahmin ettiğim günler alacaklar.

Amazon RDS kullandığım için, oynamak ve daha sonra ustalaşmak için köle sunucularım olamaz. Benim sorum şu: Bunu en az kesinti süresi ile yapmanın bir yolu var mı? Kullanıcılar tabii ki db kullanabilirsiniz hala saatler hatta günler süren bir işlem umursamıyorum ... en azından sütunları eklenirken okuyabilir miyim? Uygulamam yazmaya çalışırsa ne olur? Ekleme veya güncelleme? Hemen başarısız olursa, bu gerçekten çok kötü değil, sadece asılı ve db sunucusu için sorunlara neden olursa büyük bir sorun ..

Bu oldukça yaygın bir ölçeklendirme sorunu olmalı, herkes sütun eklemelidir .. Genellikle bir üretim db ne yapılır? Köle -> ana göç?

Güncelleme - innodb depolama motorunu kullandığımı söylemeyi unuttum

Periyodik olarak, çoğunlukla sütun ekleyerek mysql 5.1 tablolarda değişiklik yapmak gerekiyor.

Yapma. Hayır gerçekten. Sadece yapma. Bu olduğunda Bu çok nadir bir fırsat olmalıdır şimdiye gerekli.

Verilerinizin gerçekten başlamak için normalleştirildiğini varsayarsak, sorunu çözmenin doğru yolu, temel tabloya 1: 1 ilişkisi olan yeni bir tablo eklemektir (yeni tabloda zorunlu değildir).

Düzenli olarak sütun eklemeniz genellikle normalleştirilmemiş bir veritabanının göstergesidir - şemanız normalleştirilmediyse düzeltmeniz gereken sorun budur.

Son olarak, şemanız gerçekten, gerçekten normalleştirilmişse ve gerçekten, gerçekten sütun eklemeye devam etmelisiniz:

1. Veritabanında bir zaman damgası sütununuz olduğundan veya çoğaltma günlükleri oluşturduğundan emin olun
2. Tablonun (A) bir kopyasını (B) oluşturma
3. B'ye yeni sütunlar ekleyin (bu yine de myisam ile engellenir)
4. işlemleri devre dışı bırak
5. özgün tabloyu (A) başka bir şey olarak yeniden adlandırma (yedekleme)
6. yeni tabloyu (B) orijinal tablonun adıyla (A) yeniden adlandırın
7. işlemleri işlemin başlangıcından çoğaltma günlüğünden veya yedekleme tablosundan yeniden yürütme
8. işlemleri etkinleştir.

Bunu son zamanlarda yapmak zorunda kaldım. Amazon'un önerdiği şey Percona Toolkit'i kullanmaktı. Ben indirdim ve gibi bir şey çalıştırmak başardı:

./pt-online-schema-change h=databasenameHostName,D=databasename,t=tablename --recursion-method=none --execute --user username --password password --alter "MODIFY someColumn newDataType"

ve harika çalışıyor. Süreçte ne kadar zaman kaldığını size söyler.

Aslında yeni sütunu olan yeni bir tablo oluşturur ve mevcut verileri üzerine kopyalar. Ayrıca, yeni verilerin de yeni tabloya aktarılması için bir tetikleyici oluşturur. Daha sonra tabloları otomatik olarak yeniden adlandırır, eski tabloyu bırakır ve güncellemeleri beklerken yeni sütunla çalışır durumda olursunuz.

symcbean bazı sağlam öneriler sunar .

Sorunuzu yanıtlamak için, etkiyi azaltmanın en kolay ve en iyi yolu, birden çok veritabanının çoğaltılmasıdır. Aktif üzerinde replikasyonu durduran uygun bir yük devretme prosedürüne sahip ikili master, aktif olanı etkilemeden aktif olmayan bir değişiklik yapılmasına izin verir.

Bunu potansiyel olarak tek bir canlı veritabanı üzerinde yapabilir ve bu cevapta ayrıntılı olarak açıkladığım prosedürü kullanarak etkiyi en aza indirebilirsiniz . Kuşkusuz, bu işaretin tarif ettiği ile benzerdir, ancak teknik detayları içerir. Yalnızca zaman damgası değil, aynı zamanda bir auto_increment alanı da kullanabilirsiniz.

Sonuç olarak, veri kümeniz çok büyüyorsa, OLTP ve OLAP veritabanları arasındaki arşivlemeyi de dikkate almanız gerekir . Uygun şekilde tasarlarsanız, işlem veri kümenizin çok büyük olması gerekmez.

Kılavuzdan: http://dev.mysql.com/doc/refman/5.1/en/alter-table.html

Çoğu durumda, ALTER TABLE orijinal tablonun geçici bir kopyasını oluşturur. MySQL, değişikliği kopyaya dahil eder, ardından orijinal tabloyu siler ve yenisini yeniden adlandırır. ALTER TABLE yürütülürken, orijinal tablo diğer oturumlar tarafından okunabilir. Tablodaki güncelleştirmeler ve yazılar yeni tablo hazır olana kadar durdurulur ve başarısız olan güncelleştirmeler olmadan otomatik olarak yeni tabloya yeniden yönlendirilir.

Yani, okuma iyi sonuç verecektir. Yazmalar durdurulacak, ancak daha sonra yürütülecek. Bunu önlemek istiyorsanız, yazılımınızı değiştirmeniz gerekecektir.

Neredeyse 65GB olan işlem masamın 1'ini değiştirmek zorunda olduğum benzer bir durumdayım. 2 çözüm duyuyorum

1. Doğrudan ALTER kullanın ve Çalışmasına izin verin (X saat veya gün sayısı)
2. Veritabanında bir zaman damgası sütununuz olduğundan veya çoğaltma günlükleri oluşturduğundan emin olun
   • Tablonun (A) bir kopyasını (B) oluşturma
   • B'ye yeni sütunlar ekleyin (bu yine de myisam ile engellenir)
   • işlemleri devre dışı bırak
   • özgün tabloyu (A) başka bir şey olarak yeniden adlandırma (yedekleme)
   • yeni tabloyu (B) orijinal tablonun adıyla (A) yeniden adlandırın