Postgres'te hızlı rastgele sıra seçimi

Postgres'te birkaç milyon satır içeren bir tablom var. İnternetten kontrol ettim ve aşağıdakileri buldum

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

Çalışıyor, ama gerçekten yavaş ... Bu sorguyu yapmanın başka bir yolu var mı, yoksa tüm tabloyu okumadan rastgele bir satırı seçmenin doğrudan bir yolu var mı? Bu arada, 'myid' bir tamsayıdır, ancak boş bir alan olabilir.

Şu şekilde denemek isteyebilirsiniz OFFSET:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

İçindeki Nsatır sayısıdır mytable. SELECT COUNT(*)Değerini bulmak için önce bir yapmanız gerekebilir N.

Güncelleme (Antony Hatchkins tarafından)

floorBurada kullanmalısınız :

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

2 satırlık bir tablo düşünün; random()*Nüretir 0 <= x < 2ve örneğin SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;en yakın int'e örtük yuvarlama nedeniyle 0 satır döndürür.

PostgreSQL 9.5, çok daha hızlı örnek seçimi için yeni bir yaklaşım getirdi: TABLESAMPLE

Sözdizimi

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

Tam yüzdeyi hesaplamak için tablonun COUNT'unu bilmeniz gerektiğinden, yalnızca bir satırın seçilmesini istiyorsanız bu en uygun çözüm değildir.

Yavaş COUNT'tan kaçınmak ve 1 satırdan milyarlarca satıra kadar olan tablolarda hızlı TABLESAMPLE kullanmak için şunları yapabilirsiniz:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

Bu o kadar zarif görünmeyebilir, ancak muhtemelen diğer yanıtların hepsinden daha hızlıdır.

BERNULLI oder SYSTEM'i kullanmak isteyip istemediğinize karar vermek için, farkı http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/ adresinde okuyun.

Bunu bir alt sorgu ile denedim ve iyi çalıştı. Ofset, en azından Postgresql v8.4.4'te iyi çalışıyor.

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

Kullanmanız gerekenler floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Bazı farklı seçenekler için bu bağlantıya göz atın. http://www.depesz.com/index.php/2007/09/16/my-inglyts-on-getting-random-row/

Güncelleme: (A. Hatchkins)

(Çok) uzun makalenin özeti aşağıdaki gibidir.

Yazar dört yaklaşımı listeler:

1) ORDER BY random() LIMIT 1; - yavaş

2) ORDER BY id where id>=random()*N LIMIT 1- boşluklar varsa üniform olmayan

3) rastgele sütun - ara sıra güncellenmesi gerekiyor

4) özel rastgele toplama - kurnaz yöntem yavaş olabilir: random () N kez üretilmelidir

ve 2. yöntemi kullanarak iyileştirmeyi önerir.

5) ORDER BY id where id=random()*N LIMIT 1 sonuç boşsa sonraki taleplerle.

Rastgele satırı getirmenin en kolay ve en hızlı yolu, şu tsm_system_rowsuzantıyı kullanmaktır :

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

Daha sonra tam istediğiniz satır sayısını seçebilirsiniz:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

Bu, PostgreSQL 9.5 ve sonrasında mevcuttur.

Bakınız: https://www.postgresql.org/docs/current/static/tsm-system-rows.html

Olmadan çok hızlı bir çözüm buldum TABLESAMPLE. Daha hızlı OFFSET random()*N LIMIT 1. Masa sayımı bile gerektirmez.

Buradaki fikir, örneğin rastgele ancak öngörülebilir verilerle bir ifade dizini oluşturmaktır md5(primary key).

İşte 1 milyon satırlık örnek veriye sahip bir test:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

Sonuç:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

Bu sorgu bazen (yaklaşık 1 / Satır_sayısı olasılığı ile) 0 satır döndürebilir, bu nedenle kontrol edilmesi ve yeniden çalıştırılması gerekir. Ayrıca olasılıklar tam olarak aynı değildir - bazı satırlar diğerlerinden daha olasıdır.

Karşılaştırma için:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

Sonuçlar çok çeşitlidir, ancak oldukça kötü olabilir:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)