SQL Server tablosundan n rasgele satır seçin

İçinde yaklaşık 50.000 satır içeren bir SQL Server tablo var. Bu sıralardan yaklaşık 5.000 tanesini rastgele seçmek istiyorum. Karmaşık bir yol düşündüm, bir "rasgele sayı" sütunu ile bir geçici tablo oluşturmak, bu içine benim tablo kopyalayarak, geçici tablo üzerinden döngü ve her satır güncelleme RAND()ve sonra rasgele sayı sütun < 0.1. Mümkünse tek bir ifadeyle bunu yapmak için daha basit bir yol arıyorum.

Bu makalede , NEWID()işlevinin kullanılması önerilmektedir . Bu umut verici görünüyor, ancak satırların belirli bir yüzdesini nasıl güvenilir bir şekilde seçebileceğimi göremiyorum.

Daha önce bunu yapan var mı? Herhangi bir fikir?

select top 10 percent * from [yourtable] order by newid()

Büyük tablolarla ilgili "saf çöp" yorumuna yanıt olarak: performansı artırmak için bunu böyle yapabilirsiniz.

select  * from [yourtable] where [yourPk] in 
(select top 10 percent [yourPk] from [yourtable] order by newid())

Bunun maliyeti, değerlerin anahtar taraması artı küçük bir yüzde seçimi olan büyük bir tabloda makul olması gereken birleştirme maliyeti olacaktır.

İhtiyaçlarınıza bağlı olarak, TABLESAMPLEsizi neredeyse rastgele ve daha iyi performans elde edecektir. MS SQL Server 2005 ve sonraki sürümlerinde kullanılabilir.

TABLESAMPLE rastgele satırlar yerine rastgele sayfalardan veri döndürür ve bu nedenle deos döndürmeyeceği verileri bile almaz.

Çok büyük bir masada test ettim

select top 1 percent * from [tablename] order by newid()

20 dakikadan fazla sürdü.

select * from [tablename] tablesample(1 percent)

2 dakika sürdü.

Performans, daha küçük örneklerde de iyileşir, TABLESAMPLEancak bununla birlikte olmayacaktır newid().

Lütfen bunun bu kadar rastgele olmadığını unutmayın. newid() yöntem ancak size iyi bir örnekleme sağlayacağını .

MSDN sayfasına bakın .

newid () / order by çalışacak, ancak her satır için bir kimlik oluşturması ve ardından bunları sıralaması gerektiği için büyük sonuç kümeleri için çok pahalı olacaktır.

TABLESAMPLE (), performans açısından iyidir, ancak sonuçların toplanmasını sağlarsınız (sayfadaki tüm satırlar döndürülür).

Daha iyi performans gösteren gerçek rastgele örnek için, en iyi yol satırları rastgele filtrelemektir. Aşağıdaki kod örneğini TABLESAMPLE kullanarak sonuç kümelerini sınırlama SQL Server Books Online'da buldum :

Gerçekten tek tek sıraların rastgele bir örneğini istiyorsanız, TABLESAMPLE yerine satırları rastgele filtrelemek için sorgunuzu değiştirin. Örneğin, aşağıdaki sorgu, Sales.SalesOrderDetail tablosundaki satırların yaklaşık yüzde birini döndürmek için NEWID işlevini kullanır:

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= CAST(CHECKSUM(NEWID(),SalesOrderID) & 0x7fffffff AS float)
              / CAST (0x7fffffff AS int)

SalesOrderID sütunu CHECKSUM ifadesine dahil edilir, böylece NEWID () satır başına örnekleme elde etmek için satır başına bir kez değerlendirilir. CAST (CHECKSUM (NEWID (), SalesOrderID) & 0x7fffffff AS float / CAST (0x7fffffff AS int) ifadesi 0 ile 1 arasında rastgele bir float değeri olarak değerlendirilir.

1.000.000 sıralı bir tabloya karşı çalıştırıldığında, sonuçlarım şunlardır:

SET STATISTICS TIME ON
SET STATISTICS IO ON

/* newid()
   rows returned: 10000
   logical reads: 3359
   CPU time: 3312 ms
   elapsed time = 3359 ms
*/
SELECT TOP 1 PERCENT Number
FROM Numbers
ORDER BY newid()

/* TABLESAMPLE
   rows returned: 9269 (varies)
   logical reads: 32
   CPU time: 0 ms
   elapsed time: 5 ms
*/
SELECT Number
FROM Numbers
TABLESAMPLE (1 PERCENT)

/* Filter
   rows returned: 9994 (varies)
   logical reads: 3359
   CPU time: 641 ms
   elapsed time: 627 ms
*/    
SELECT Number
FROM Numbers
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), Number) & 0x7fffffff AS float) 
              / CAST (0x7fffffff AS int)

SET STATISTICS IO OFF
SET STATISTICS TIME OFF

TABLESAMPLE'ı kullanmaktan kurtulabilirseniz, size en iyi performansı verecektir. Aksi takdirde newid () / filter yöntemini kullanın. Büyük bir sonuç kümeniz varsa newid () / order by son çare olmalıdır.

MSDN'deki Büyük Bir Tablodan Rastgele Sıra Seçimi , büyük ölçekli performans endişelerini gideren basit ve iyi ifade edilmiş bir çözüme sahiptir.

  SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Bu bağlantının Orderby (NEWID ()) ve 1, 7 ve 13 milyon satırlık tablolar için diğer yöntemleri arasında ilginç bir karşılaştırması vardır.

Genellikle, tartışma gruplarında rastgele satırların nasıl seçileceği hakkında sorular sorulduğunda, NEWID sorgusu önerilir; basit ve küçük tablolar için çok iyi çalışıyor.

SELECT TOP 10 PERCENT *
  FROM Table1
  ORDER BY NEWID()

Ancak, NEWID sorgusu büyük tablolar için kullandığınızda büyük bir dezavantajı vardır. ORDER BY deyimi, tablodaki tüm satırların sıralandığı tempdb veritabanına kopyalanmasına neden olur. Bu iki soruna neden olur:

1. Ayıklama işleminin genellikle yüksek bir maliyeti vardır. Sıralama çok fazla disk G / Ç kullanabilir ve uzun süre çalışabilir.
2. En kötü senaryoda tempdb'de yer kalmayabilir. En iyi durumda, tempdb, manuel bir shrink komutu olmadan asla geri kazanılmayacak kadar büyük miktarda disk alanı kaplayabilir.

İhtiyacınız olan şey, tempdb kullanmayacak ve tablo büyüdükçe çok daha yavaş olmayacak sıraları rastgele seçmenin bir yoludur. İşte bunun nasıl yapılacağı hakkında yeni bir fikir:

SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Bu sorgunun arkasındaki temel fikir, tablodaki her satır için 0 ile 99 arasında rastgele bir sayı oluşturmak ve ardından rastgele sayısı belirtilen yüzde değerinden daha az olan tüm satırları seçmek istememizdir. Bu örnekte, satırların yaklaşık yüzde 10'unun rastgele seçilmesini istiyoruz; bu nedenle rastgele sayısı 10'dan küçük olan tüm satırları seçiyoruz.

Lütfen MSDN'deki makalenin tamamını okuyun .

(OP'nin aksine) belirli sayıda kayda ihtiyacınız varsa (CHECKSUM yaklaşımını zorlaştırır) ve TABLESAMPLE tarafından sağlanandan daha rastgele bir örnek istiyorsanız ve CHECKSUM'dan daha iyi bir hız istiyorsanız, TABLESAMPLE ve NEWID () yöntemleri, şöyle:

DECLARE @sampleCount int = 50
SET STATISTICS TIME ON

SELECT TOP (@sampleCount) * 
FROM [yourtable] TABLESAMPLE(10 PERCENT)
ORDER BY NEWID()

SET STATISTICS TIME OFF

Benim durumumda bu, rasgelelik (gerçekten, biliyorum) ve hız arasındaki en basit uzlaşmadır. TABLESAMPLE yüzdesini (veya satırları) uygun şekilde değiştirin - yüzde ne kadar yüksek olursa, örnek o kadar rasgele olur, ancak hızda doğrusal bir düşüş beklenir. (TABLESAMPLE öğesinin bir değişkeni kabul etmeyeceğini unutmayın)

Tabloyu rastgele bir sayı ile sıralayın ve kullanarak ilk 5.000 satırı elde edin TOP.

SELECT TOP 5000 * FROM [Table] ORDER BY newid();

GÜNCELLEME

Sadece denedim ve bir newid()çağrı yeterli - tüm oyuncular ve tüm matematiklere gerek yok.

Bu, ilk tohum fikri ve bir sağlama toplamı birleşimidir ve bana NEWID () maliyeti olmadan düzgün rasgele sonuçlar vermemi ister:

SELECT TOP [number] 
FROM table_name
ORDER BY RAND(CHECKSUM(*) * RAND())

MySQL'de şunları yapabilirsiniz:

SELECT `PRIMARY_KEY`, rand() FROM table ORDER BY rand() LIMIT 5000;

Cevaplarda bu varyasyonu henüz görmedim. Her seferinde aynı satır kümesini seçmek için bir başlangıç ​​tohumu verildiğinde ek bir kısıtlama vardı.

MS SQL için:

Minimum örnek:

select top 10 percent *
from table_name
order by rand(checksum(*))

Normalleştirilmiş yürütme süresi: 1.00

NewId () örneği:

select top 10 percent *
from table_name
order by newid()

Normalleştirilmiş yürütme süresi: 1.02

NewId()önemsiz derecede yavaş olduğundan rand(checksum(*))büyük kayıt kümelerine karşı kullanmak istemeyebilirsiniz.

İlk Tohumlu Seçim:

declare @seed int
set @seed = Year(getdate()) * month(getdate()) /* any other initial seed here */

select top 10 percent *
from table_name
order by rand(checksum(*) % @seed) /* any other math function here */

Bir tohum verilen aynı seti seçmeniz gerekiyorsa, bu işe yarıyor gibi görünüyor.

Bunu dene:

SELECT TOP 10 Field1, ..., FieldN
FROM Table1
ORDER BY NEWID()

Newid () ifadesi nerede deyiminde kullanılamaz, bu nedenle bu çözüm bir iç sorgu gerektirir:

SELECT *
FROM (
    SELECT *, ABS(CHECKSUM(NEWID())) AS Rnd
    FROM MyTable
) vw
WHERE Rnd % 100 < 10        --10%

Alt sorguda kullanıyordum ve alt sorguda bana aynı satırları döndürdü

 SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

sonra üst tablo değişkeni nereye dahil ile çözüldü

SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              Where Mytable.ID>0
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

Nerede yoğuşmaya dikkat edin

Kullanılan sunucu tarafı işleme dili (örn. PHP, .net, vb.) Belirtilmez, ancak PHP ise gerekli sayıyı (veya tüm kayıtları) yakalayın ve sorguda rasgele kullanmak yerine PHP'nin shuffle işlevini kullanın. .Net eşdeğer bir işlevi olup olmadığını bilmiyorum ama eğer .net kullanıyorsanız bunu kullanın

ORDER BY RAND (), kaç kaydın bulunduğuna bağlı olarak oldukça yüksek bir performans cezasına sahip olabilir.

Bu benim için çalışıyor:

SELECT * FROM table_name
ORDER BY RANDOM()
LIMIT [number]