PostgreSQL'de Yinelenen Kayıtları Silin

Bir PostgreSQL 8.3.8 veritabanında, üzerinde anahtar / kısıtlama olmayan ve tamamen aynı değerlere sahip birden çok satıra sahip bir tablom var.

Tüm kopyaları kaldırmak ve her satırın yalnızca 1 kopyasını saklamak istiyorum.

Yinelenenleri tanımlamak için kullanılabilen özellikle bir sütun ("anahtar" olarak adlandırılır) vardır (yani, her farklı "anahtar" için yalnızca bir giriş olmalıdır).

Bunu nasıl yapabilirim? (ideal olarak tek bir SQL komutuyla) Bu durumda hız bir sorun değildir (yalnızca birkaç satır vardır).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Daha hızlı bir çözüm

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Bu hızlı ve özlüdür:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Daha fazla bilgi içeren benzersiz tanımlayıcı olmadan yinelenen satırlar nasıl silinir ?

Bunu denedim:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

Postgres wiki tarafından sağlanan:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Geçici bir tablo kullanırım:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Ardından, silmek tabve yeniden adlandırmak tab_tempiçine tab.

Kendi versiyonumu yaratmalıydım. @A_horse_with_no_name tarafından yazılan sürüm, masamda çok yavaş (21M satır). Ve @rapimo, çiftleri silmez.

İşte PostgreSQL 9.5'te kullandığım şey

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

idTüm benzersiz kimlikleri sütunlara göre bulmak ve benzersiz listede olmayan diğer kimlikleri kaldırmak için başka bir yaklaşım (yalnızca tablonuzdaki gibi benzersiz bir alanınız varsa işe yarar )

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Peki ya:

İLE
  u AS (masanızdan DISTINCT * SEÇİN),
  x AS (tablonuzdan SİLİN)
INSERT your_table SELECT * FROM u;

Yürütme sırası konusunda endişeliydim, DELETE SELECT DISTINCT'den önce olur mu, ama benim için iyi çalışıyor. Ve masa yapısı hakkında herhangi bir bilgiye ihtiyaç duymama avantajına sahiptir.

Bu benim için iyi çalıştı. Yinelenen değerler içeren bir tablom, terimlerim vardı. Tüm yinelenen satırlarla geçici bir tablo doldurmak için bir sorgu çalıştırıldı. Sonra temp tablosundaki bu kimliklerle bir silme ifadesini çalıştırdım. değer, kopyaları içeren sütundur.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

İşte kullanan bir çözüm PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate