Bir PostgreSQL tablosu için ne kadar büyüktür?

Şirketim için bir RoR projesinin tasarımı üzerinde çalışıyorum ve geliştirme ekibimiz tasarımla, özellikle de veritabanıyla ilgili bir miktar tartışmaya girdi.

MessageKalıcı olması gereken bir modelimiz var . Bu, id dışında yalnızca üç db sütunu olan çok, çok küçük bir model, ancak üretime gittiğimizde muhtemelen bu modellerin BİRÇOKU olacak. Günde 1.000.000 kadar eklemeye bakıyoruz. Modeller yalnızca üzerlerinde indekslenebilen iki yabancı anahtarla aranacaktır. Ayrıca modellerin asla silinmesi gerekmiyor, ancak yaklaşık üç aylık olduklarında onları saklamamız da gerekmiyor.

Öyleyse merak ettiğimiz şey, bu tabloyu Postgres'te uygulamanın önemli bir performans sorunu oluşturup oluşturmayacağı? Bunun bir sorun olup olmayacağını bize söyleyen çok büyük SQL veritabanları konusunda deneyimi olan var mı? Ve eğer öyleyse, hangi alternatifle gitmeliyiz?

Tablo başına satırlar kendi başına bir sorun olmayacaktır.

Yani kabaca 90 gün boyunca günde 1 milyon satır 90 milyon satırdır. Postgres'in ne yaptığınızın tüm ayrıntılarını bilmeden bununla başa çıkamayacağı bir neden göremiyorum.

Veri dağıtımınıza bağlı olarak, hangi performans sorunlarına sahip olabileceğinizi veya olmayabileceğinizi gördükten sonra işleri hızlandırmak için bir dizi dizin, filtrelenmiş dizin ve bir tür tablo bölümleme karışımı kullanabilirsiniz. Sorununuz, bildiğim diğer tüm RDMS'lerde aynı olacaktır. Verileri budamak için yalnızca 3 aylık veri tasarımına ihtiyacınız varsa, artık ihtiyacınız yoktur. Bu şekilde, tabloda tutarlı bir veri hacmine sahip olursunuz. Ne kadar verinin olacağını bildiğiniz için şanslısınız, hacminiz için test edin ve ne elde ettiğinizi görün. 90 milyon satırlık bir tabloyu test etmek şu kadar kolay olabilir:

select x,1 as c2,2 as c3
from generate_series(1,90000000) x;

https://wiki.postgresql.org/wiki/FAQ

Limit   Value
Maximum Database Size       Unlimited
Maximum Table Size          32 TB
Maximum Row Size            1.6 TB
Maximum Field Size          1 GB
Maximum Rows per Table      Unlimited
Maximum Columns per Table   250 - 1600 depending on column types
Maximum Indexes per Table   Unlimited

100 milyondan fazla satır içeren bir tabloda sorgularınızı önemli ölçüde hızlandırmanın bir başka yolu da mesai saatleri dışında, sorgularınızda en sık kullanılan tabloyu dizinde kümelemektir. 218 milyondan fazla satır içeren bir tablomuz var ve 30X iyileştirme bulduk.

Ayrıca, çok büyük bir tablo için, yabancı anahtarlarınızda bir dizin oluşturmak iyi bir fikirdir.