MySQL'e aktarmam gereken bu büyük 32 GB'lik SQL dökümü var. Daha önce böyle büyük bir SQL dökümü almak zorunda kalmamıştım. Her zamanki gibi yaptım:

mysql -uroot dbname < dbname.sql

Çok uzun sürüyor. Yaklaşık 300 milyon satırlık bir masa var, yaklaşık 3 saat içinde 1,5 milyona ulaştı. Bu yüzden, her şeyin 600 saat süreceği (24 gün) ve pratik olmadığı anlaşılıyor. Yani benim sorum şu, bunu yapmanın daha hızlı bir yolu var mı?

Ek Bilgi / Bulgular

1. Tabloların tümü InnoDB'dir ve tanımlanmış yabancı anahtar yoktur. Ancak birçok endeks var.
2. Orijinal sunucuya ve DB'ye erişemem bu yüzden yeni bir yedekleme yapamıyorum veya "sıcak" bir kopya vb. Yapamıyorum.
3. Buradainnodb_flush_log_at_trx_commit = 2 önerildiği gibi ayar yapmak, (açıkça görülebilen / katlanarak) iyileşme sağlamıyor gibi görünüyor.
4. İçe aktarma sırasında sunucu istatistikleri (MySQL Workbench'ten): https://imgflip.com/gif/ed0c8 .
5. MySQL versiyonu 5.6.20 topluluktur.
6. innodb_buffer_pool_size = 16M ve innodb_log_buffer_size = 8M. Bunları arttırmam gerekir mi?

Percona'dan Vadim Tkachenko InnoDB'nin bu güzel resimli sunumunu yaptı.

Kesinlikle aşağıdakileri değiştirmeniz gerekir

innodb_buffer_pool_size = 4G
innodb_log_buffer_size = 256M
innodb_log_file_size = 1G
innodb_write_io_threads = 16
innodb_flush_log_at_trx_commit = 0

Neden bu ayarlar?

• innodb_buffer_pool_size veriyi sık sık önbelleğe alır
• innodb_log_buffer_size : Büyük tampon, işlem günlüğüne yazma G / Ç değerini azaltır
• innodb_log_file_size : Büyük günlük dosyası kontrol işaretini azaltır ve G / Ç yazma
• innodb_write_io_threads : Servis .ibdDosyalara İşlem Yazma İşlemleri . Açık MySQL DokümantasyonunaConfiguring the Number of Background InnoDB I/O Threads göre , her iş parçacığı 256 bekleyen G / Ç isteğini yerine getirebilir. MySQL için varsayılan, Percona Server için 4, 8'dir. Max 64.
• innodb_flush_log_at_trx_commit
  • Bir çökme durumunda, hem 0 hem de 2 veri saniyede bir kaybedebilir.
  • Buradaki değişme, hem 0 hem de 2'nin yazma performansını artırmasıdır.
  • 0'dan 2'yi seçiyorum çünkü 0 InnoDB Günlük Tamponunu İşlem Günlüklerine (ib_logfile0, ib_logfile1) saniyede bir kez veya bir taahhütle işlemden geçiriyor. Ayar 2, InnoDB Günlük Tamponunu yalnızca işlem sırasında temizler. Eski bir Percona eğitmeni olan jynus tarafından belirtilen 0 ayarının başka avantajları da var .

Bu şekilde mysql'yi yeniden başlatın

service mysql restart --innodb-doublewrite=0

Bu InnoDB Çift Yazma Arabelleğini devre dışı bırakır

Verilerinizi alın. Tamamlandığında, mysql normal olarak yeniden başlat

service mysql restart

Bu InnoDB Çift Yazma Arabelleğini yeniden etkinleştirir

Bir şans ver !!!

YAN NOT: En son güvenlik yamaları için 5.6.21'e yükseltmelisiniz .

Gerçekten geri yüklemek için tüm veritabanına ihtiyacınız var mı? Yapmazsan benim 2c:

Geri yüklemeyi "topakları" üzerinde yapmak için belirli tabloları çıkarabilirsiniz. Bunun gibi bir şey:

zcat your-dump.gz.sql | sed -n -e '/DROP TABLE.*`TABLE_NAME`/,/UNLOCK TABLES/p' > table_name-dump.sql

Bir kez yaptım ve ihtiyacım olan tabloyu çıkarmak 10 dakika kadar sürdü - tam geri yüklemem 35 GB (gziped) dökümü ile 13 ~ 14 saat sürdü.

/pattern/,/pattern/pİle -nbunları içeren - parametre "desen arasındaki" bir dilim yapar.

Neyse, 35 GB'ı geri yüklemek için bir AWS EC2 makinesi kullandım (c3.8xlarge), Percona'yı yum (Centos) aracılığıyla kurdum ve şu satırları ekledim / değiştirdim my.cnf:

max_allowed_packet=256M
wait_timeout=30000

Bence rakamlar çok yüksek, ama kurulumum için çalıştı.

Veritabanınızı içe aktarmanın en hızlı yolu, (.frm, .MYD, .MYI) dosyalarını MyISAM ise doğrudan / var / lib / mysql / "database name" e kopyalamaktır.

Aksi takdirde deneyebilirsiniz: mysql > use database_name; \. /path/to/file.sql

Verilerinizi almanın başka bir yolu da budur.

İçe aktarmanın hızlandırılmasına yardımcı olmanın bir yolu, içe aktarırken tabloyu kilitlemektir. mysqldump için --add-lock seçeneğini kullanın.

mysqldump --add-drop-table --add-locks --database db > db.sql

veya bazı yararlı parametreleri --opt ile açabilirsiniz, bu dökümü için bir sürü faydalı şey açar .

mysqldump --opt --database db > db.sql

Sunucuda başka bir depolama cihazınız varsa, bunu kullanın - bir cihazdan diğerine kopyalamak, aktarımları hızlandırmanın bir yoludur.

--genore-table ile gerekmeyen tabloları da filtreleyebilirsiniz.