PostgreSQL'de yinelenen kayıtlar nasıl bulunur

Şu anda aşağıdaki yinelenen alanlara izin veren "user_links" adlı bir PostgreSQL veritabanı tablo var:

year, user_id, sid, cid

Benzersiz kısıt ancak şimdi emin olmak için bir kısıtlama eklemek için arıyorum, şu anda "id" denilen ilk alandır year, user_id, sidve cidtüm benzersiz ama yinelenen değerler zaten bu kısıtlamayı ihlal hangi mevcut olduğundan ben kısıtlamasını uygulayamazsınız.

Tüm kopyaları bulmanın bir yolu var mı?

Temel fikir, sayı toplama ile iç içe bir sorgu kullanmak olacaktır:

select * from yourTable ou
where (select count(*) from yourTable inr
where inr.sid = ou.sid) > 1

Aramayı daraltmak için iç sorgudaki where yan tümcesini ayarlayabilirsiniz.

Yorumlarda bahsedilenler için iyi bir çözüm var (ancak herkes bunları okumuyor):

select Column1, Column2, count(*)
from yourTable
group by Column1, Column2
HAVING count(*) > 1

Veya daha kısa:

SELECT (yourTable.*)::text, count(*)
FROM yourTable
GROUP BY yourTable.*
HAVING count(*) > 1

" PostgreSQL ile yinelenen satırları bulun " dan akıllı çözüm:

select * from (
  SELECT id,
  ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id asc) AS Row
  FROM tbl
) dups
where 
dups.Row > 1

Çoğaltılacak alanlarda aynı tabloya katılabilir ve ardından id alanında anti-join yapabilirsiniz. İlk tablo diğer adından (tn1) id alanını seçin ve ardından ikinci tablo diğer adının id alanındaki array_agg işlevini kullanın. Son olarak, array_agg işlevinin düzgün çalışması için sonuçları tn1.id alanına göre gruplandırırsınız. Bu, bir kaydın kimliğini ve birleştirme koşullarına uyan tüm kimliklerin bir dizisini içeren bir sonuç kümesi oluşturur.

select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id;

Açıkçası, bir kimlik için duplicate_entries dizisinde yer alacak id'lerin sonuç kümesinde kendi girişleri de olacaktır. Hangi sonucun 'gerçeğin' kaynağı olmasını istediğinize karar vermek için bu sonuç kümesini kullanmanız gerekecektir. Silinmemesi gereken tek kayıt. Belki böyle bir şey yapabilirsiniz:

with dupe_set as (
select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id
order by tn1.id asc)
select ds.id from dupe_set ds where not exists 
 (select de from unnest(ds.duplicate_entries) as de where de < ds.id)

Kopyaları olan en düşük sayı ID'lerini seçer (ID'nin PK'da arttığı varsayılarak). Bunlar etrafta saklayacağınız kimliklerdir.

Bunu kolaylaştırmak için, yalnızca sütun yılı için benzersiz bir kısıtlama uygulamak istediğinizi ve birincil anahtarın id adında bir sütun olduğunu varsayıyorum.

Yinelenen değerleri bulmak için çalıştırmanız gerekir,

SELECT year, COUNT(id)
FROM YOUR_TABLE
GROUP BY year
HAVING COUNT(id) > 1
ORDER BY COUNT(id);

Yukarıdaki sql deyimini kullanarak tablonuzdaki tüm yinelenen yılları içeren bir tablo elde edersiniz. Amacıyla son yinelenen giriş dışındaki tüm çiftleri silmek sql deyimi yukarıda kullanmalıdır.

DELETE
FROM YOUR_TABLE A USING YOUR_TABLE_AGAIN B
WHERE A.year=B.year AND A.id<B.id;