Geliştirici anlık görüntüsü için tabloların yalnızca bölümlerinin Postgres dökümü

Üretimde veritabanımız birkaç yüz gigabayt boyutundadır. Geliştirme ve test için, bu veritabanının işlevsel olarak eşdeğer ancak yalnızca 10 veya 20 gig boyutunda anlık görüntülerini oluşturmamız gerekiyor.

Buradaki zorluk, ticari kuruluşlarımıza ait verilerin birçok tabloya dağılmış olmasıdır. Dökümde sadece bazı varlıkların yer alması için bir çeşit filtrelenmiş anlık görüntü oluşturmak istiyoruz . Bu şekilde, geliştirme ve test için her ay yeni anlık görüntüler elde edebiliriz.

Örneğin, bu çoka çok ilişkiye sahip varlıklarımız olduğunu varsayalım:

• Şirketin N Bölümü var
• Bölümde N Çalışanı var
• Çalışanın N Katılım Kaydı var

Belki 1000 şirket, 2500 bölüm, 175000 çalışan ve on milyonlarca katılım kaydı vardır. Diyelim ki ilk 100 şirketi ve tüm kurucu bölümlerini, çalışanlarını ve yoklama kayıtlarını almak için tekrarlanabilir bir yol istiyoruz .

Şu anda şema için pg_dump kullanıyoruz ve daha küçük tablolardan tüm verileri almak için --disable-triggers ve --data-only ile pg_dump çalıştırıyoruz. Verinin bir kısmını çıkarmak için özel komut dosyaları yazmak zorunda kalmak istemiyoruz çünkü hızlı bir geliştirme döngüsüne sahibiz ve özel komut dosyalarının kırılgan olacağından ve muhtemelen güncel olmayacağından endişe duyuyoruz.

Bunu nasıl yapabiliriz? Veritabanından mantıksal bölümleri çıkarmaya yardımcı olabilecek üçüncü taraf araçlar var mı? Bu araçlara ne denir?

Herhangi bir genel tavsiye de takdir edilmektedir!

Daha büyük tablolarınızda alt kümeleri çıkarmak için COPY komutunu kullanabilirsiniz ...

COPY (SELECT * FROM mytable WHERE ...) TO '/tmp/myfile.tsv'

COPY mytable FROM 'myfile.tsv'

https://www.postgresql.org/docs/current/static/sql-copy.html

Üretiminizin bir alt kümesini almak yerine bir dizi geliştirme verisini korumayı düşünmelisiniz. Birim testleri yazmanız durumunda, tüm olası kullanım durumlarına ulaşmaya çalışarak testler için gerekli olan aynı verileri kullanabilirsiniz.

Bunu zaten yapan herhangi bir yazılım bilmiyorum ama 3 alternatif çözüm düşünebilirim. Ne yazık ki, hepsi bazı özel kodlamalar gerektiriyor.

1. Tüm tabloları ayrı bir şemada yeniden oluşturun, ardından bu tablolara yalnızca dökümünü almak istediğiniz verilerin alt kümesini kopyalayın, kullanın INSERT INTO copy.tablename SELECT * FROM tablename WHERE ...ve dökümünü alın.

2. Veri dökümü için kendi komut dosyanızı SQL ifadeleri olarak yazın. Bu yaklaşımı geçmişte kullandım ve sadece 20-30 PHP satırı gibi bir şey aldı.

3. Pg_dump'ı, tek bir tabloyu dökerken -t anahtarıyla birlikte bir koşulu kabul edecek şekilde değiştirin.

http://jailer.sourceforge.net/ bunu yapar.