Yinelenen kayıtlar SQL Server'da silinsin mi?


95

EmployeeNameTable adlı bir sütun düşünün Employee. Amaç, EmployeeNamealana bağlı olarak tekrarlanan kayıtları silmektir .

EmployeeName
------------
Anand
Anand
Anil
Dipak
Anil
Dipak
Dipak
Anil

Tek bir sorgu kullanarak tekrarlanan kayıtları silmek istiyorum.

SQL Server'da TSQL ile bu nasıl yapılabilir?


Yinelenen kayıtları silmek demek istiyorsun, değil mi?
Sarfraz

farklı değerleri ve ilgili kimliklerini seçebilir ve kimlikleri önceden seçili listede olmayan kayıtları silebilirsiniz.
DaeMoohn

1
benzersiz bir kimlik sütununuz var mı?
Andrew Bullock

1
tablonun benzersiz kimliği yoksa, John Gibb tarafından verilen yanıtı nasıl kabul ettiniz? Örneğinizde empIdJohn tarafından kullanılan sütun nerede ?
armen

2
Benzersiz bir kimlik sütununuz yoksa veya sipariş vermek için anlamlı başka bir şey yoksa, çalışan adı sütununa göre de sipariş verebilirsiniz ... böylece rn'niz row_number() over (partition by EmployeeName order by EmployeeName)... bu her ad için rastgele tek bir kayıt seçer .
John Gibb

Yanıtlar:


229

Bunu pencere işlevleriyle yapabilirsiniz. Kopyaları empId'ye göre sıralar ve ilki hariç tümünü siler.

delete x from (
  select *, rn=row_number() over (partition by EmployeeName order by empId)
  from Employee 
) x
where rn > 1;

Nelerin silineceğini görmek için bir seçim olarak çalıştırın:

select *
from (
  select *, rn=row_number() over (partition by EmployeeName order by empId)
  from Employee 
) x
where rn > 1;

2
Birincil anahtarınız yoksa ORDER BY (SELECT NULL) stackoverflow.com/a/4812038
Arithmomaniac

36

Çalışan tablonuzun da benzersiz bir sütuna sahip olduğunu varsayarsak ( IDaşağıdaki örnekte), aşağıdakiler çalışacaktır:

delete from Employee 
where ID not in
(
    select min(ID)
    from Employee 
    group by EmployeeName 
);

Bu, tablodaki en düşük kimliğe sahip sürümü bırakacaktır.

Düzenleme
Re McGyver 'in yorumları - itibarıyla SQL 2012

MIN sayısal, karakter, varchar, benzersiz tanımlayıcı veya tarih saat sütunlarıyla kullanılabilir, ancak bit sütunlarıyla kullanılamaz

İçin 2008 R2 ve öncesi,

MIN sayısal, karakter, varchar veya datetime sütunlarıyla kullanılabilir, ancak bit sütunlarıyla kullanılamaz (ve GUID'lerle de çalışmaz)

2008R2 GUIDiçin MIN, tarafından desteklenen bir türe çevirmeniz gerekir , örn.

delete from GuidEmployees
where CAST(ID AS binary(16)) not in
(
    select min(CAST(ID AS binary(16)))
    from GuidEmployees
    group by EmployeeName 
);

Sql 2008'de çeşitli türler için SqlFiddle

Sql 2012'de çeşitli türler için SqlFiddle


Ayrıca, Oracle'da başka benzersiz kimlik sütunu yoksa "rowid" kullanabilirsiniz.
Brandon Horsley

+1 ID sütunu olmasa bile, bir kimlik alanı olarak eklenebilir.
Kyle B.

Mükemmel cevap. Keskin ve etkili. Tablonun kimliği olmasa bile; Bu yöntemi uygulamak için bir tane eklemek daha iyidir.
MiBol

8

Aşağıdaki gibi bir şey deneyebilirsiniz:

delete T1
from MyTable T1, MyTable T2
where T1.dupField = T2.dupField
and T1.uniqueField > T2.uniqueField  

(bu, tam sayıya dayalı benzersiz bir alanınız olduğunu varsayar)

Kişisel olarak, yinelenen girişlerin bir post-fix-it işleminden ziyade oluşmadan önce veritabanına eklenmesi gerçeğini düzeltmeye çalışmanın daha iyi olduğunu söyleyebilirim.


Tablomda benzersiz alan (ID) yok. O zaman işlemi nasıl yapabilirim.
usr021986

3
DELETE
FROM MyTable
WHERE ID NOT IN (
     SELECT MAX(ID)
     FROM MyTable
     GROUP BY DuplicateColumn1, DuplicateColumn2, DuplicateColumn3)

WITH TempUsers (FirstName, LastName, duplicateRecordCount)
AS
(
    SELECT FirstName, LastName,
    ROW_NUMBER() OVER (PARTITIONBY FirstName, LastName ORDERBY FirstName) AS duplicateRecordCount
    FROM dbo.Users
)
DELETE
FROM TempUsers
WHERE duplicateRecordCount > 1

3
WITH CTE AS
(
   SELECT EmployeeName, 
          ROW_NUMBER() OVER(PARTITION BY EmployeeName ORDER BY EmployeeName) AS R
   FROM employee_table
)
DELETE CTE WHERE R > 1;

Ortak tablo ifadelerinin büyüsü.


SubPortal / a_horse_with_no_name - bunun gerçek bir tablodan seçilmesi gerekmez mi? Ayrıca, ROW_NUMBER, bir işlev olduğundan ROW_NUMBER () olmalıdır, doğru mu?
MacGyver

1

Deneyin

DELETE
FROM employee
WHERE rowid NOT IN (SELECT MAX(rowid) FROM employee
GROUP BY EmployeeName);

1

Yinelenenleri kaldırmanın bir yolunu arıyorsanız, ancak yinelenenleri olan tabloya işaret eden bir yabancı anahtarınız varsa, yavaş ama etkili bir imleç kullanarak aşağıdaki yaklaşımı uygulayabilirsiniz.

Yabancı anahtar tablosundaki yinelenen anahtarları yeniden konumlandıracaktır.

create table #properOlvChangeCodes(
    id int not null,
    name nvarchar(max) not null
)

DECLARE @name VARCHAR(MAX);
DECLARE @id INT;
DECLARE @newid INT;
DECLARE @oldid INT;

DECLARE OLVTRCCursor CURSOR FOR SELECT id, name FROM Sales_OrderLineVersionChangeReasonCode; 
OPEN OLVTRCCursor;
FETCH NEXT FROM OLVTRCCursor INTO @id, @name;
WHILE @@FETCH_STATUS = 0  
BEGIN  
        -- determine if it should be replaced (is already in temptable with name)
        if(exists(select * from #properOlvChangeCodes where Name=@name)) begin
            -- if it is, finds its id
            Select  top 1 @newid = id
            from    Sales_OrderLineVersionChangeReasonCode
            where   Name = @name

            -- replace terminationreasoncodeid in olv for the new terminationreasoncodeid
            update Sales_OrderLineVersion set ChangeReasonCodeId = @newid where ChangeReasonCodeId = @id

            -- delete the record from the terminationreasoncode
            delete from Sales_OrderLineVersionChangeReasonCode where Id = @id
        end else begin
            -- insert into temp table if new
            insert into #properOlvChangeCodes(Id, name)
            values(@id, @name)
        end

        FETCH NEXT FROM OLVTRCCursor INTO @id, @name;
END;
CLOSE OLVTRCCursor;
DEALLOCATE OLVTRCCursor;

drop table #properOlvChangeCodes

0
delete from person 
where ID not in
(
        select t.id from 
        (select min(ID) as id from person 
         group by email 
        ) as t
);

-1

Lütfen aşağıdaki silme yöntemine de bakın.

Declare @Employee table (EmployeeName varchar(10))

Insert into @Employee values 
('Anand'),('Anand'),('Anil'),('Dipak'),
('Anil'),('Dipak'),('Dipak'),('Anil')

Select * from @Employee

görüntü açıklamasını buraya girin

Adında bir örnek tablo oluşturdu @Employeeve verilen verilerle yükledi.

Delete  aliasName from (
Select  *,
        ROW_NUMBER() over (Partition by EmployeeName order by EmployeeName) as rowNumber
From    @Employee) aliasName 
Where   rowNumber > 1

Select * from @Employee

Sonuç:

görüntü açıklamasını buraya girin

Biliyorum, bu altı yıl önce soruldu, sadece yayınlamak herkes için yararlı olacaksa.


-1

Çalışma zamanında tanımlayabileceğiniz istenen bir birincil anahtara dayalı bir kimlik sütununa sahip bir tablodaki kayıtları tekilleştirmenin güzel bir yolu. Başlamadan önce, aşağıdaki kodu kullanarak çalışmak için örnek bir veri kümesi dolduracağım:

if exists (select 1 from sys.all_objects where type='u' and name='_original')
drop table _original

declare @startyear int = 2017
declare @endyear int = 2018
declare @iterator int = 1
declare @income money = cast((SELECT round(RAND()*(5000-4990)+4990 , 2)) as money)
declare @salesrepid int = cast(floor(rand()*(9100-9000)+9000) as varchar(4))
create table #original (rowid int identity, monthyear varchar(max), salesrepid int, sale money)
while @iterator<=50000 begin
insert #original 
select (Select cast(floor(rand()*(@endyear-@startyear)+@startyear) as varchar(4))+'-'+ cast(floor(rand()*(13-1)+1) as varchar(2)) ),  @salesrepid , @income
set  @salesrepid  = cast(floor(rand()*(9100-9000)+9000) as varchar(4))
set @income = cast((SELECT round(RAND()*(5000-4990)+4990 , 2)) as money)
set @iterator=@iterator+1
end  
update #original
set monthyear=replace(monthyear, '-', '-0') where  len(monthyear)=6

select * into _original from #original

Daha sonra Sütun Adları adlı bir Tür oluşturacağım:

create type ColumnNames AS table   
(Columnnames varchar(max))

Son olarak, aşağıdaki 3 uyarı ile depolanan bir proc oluşturacağım: 1. proc, veritabanınızda sildiğiniz tablonun adını tanımlayan gerekli bir @tablename parametresi alacaktır. 2. Proc, silmekte olduğunuz istenen birincil anahtarı oluşturan alanları tanımlamak için kullanabileceğiniz isteğe bağlı bir @columns parametresine sahiptir. Bu alan boş bırakılırsa, kimlik sütununun yanındaki tüm alanların istenen birincil anahtarı oluşturduğu varsayılır. 3. Yinelenen kayıtlar silindiğinde, kimlik sütunundaki en düşük değere sahip kayıt korunur.

İşte benim delete_dupes depolanmış proc'um:

 create proc delete_dupes (@tablename varchar(max), @columns columnnames readonly) 
 as
 begin

declare @table table (iterator int, name varchar(max), is_identity int)
declare @tablepartition table (idx int identity, type varchar(max), value varchar(max))
declare @partitionby varchar(max)  
declare @iterator int= 1 


if exists (select 1 from @columns)  begin
declare @columns1 table (iterator int, columnnames varchar(max))
insert @columns1
select 1, columnnames from @columns
set @partitionby = (select distinct 
                substring((Select ', '+t1.columnnames 
                From @columns1 t1
                Where T1.iterator = T2.iterator
                ORDER BY T1.iterator
                For XML PATH ('')),2, 1000)  partition
From @columns1 T2 )

end

insert @table 
select 1, a.name, is_identity from sys.all_columns a join sys.all_objects b on a.object_id=b.object_id
where b.name = @tablename  

declare @identity varchar(max)= (select name from @table where is_identity=1)

while @iterator>=0 begin 
insert @tablepartition
Select          distinct case when @iterator=1 then 'order by' else 'over (partition by' end , 
                substring((Select ', '+t1.name 
                From @table t1
                Where T1.iterator = T2.iterator and is_identity=@iterator
                ORDER BY T1.iterator
                For XML PATH ('')),2, 5000)  partition
From @table T2
set @iterator=@iterator-1
end 

declare @originalpartition varchar(max)

if @partitionby is null begin
select @originalpartition  = replace(b.value+','+a.type+a.value ,'over (partition by','')  from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1
select @partitionby = a.type+a.value+' '+b.type+a.value+','+b.value+') rownum' from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1
 end
 else
 begin
 select @originalpartition=b.value +','+ @partitionby from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1
 set @partitionby = (select 'OVER (partition by'+ @partitionby  + ' ORDER BY'+ @partitionby + ','+b.value +') rownum'
 from @tablepartition a cross join @tablepartition b where a.idx=2 and b.idx=1)
 end


exec('select row_number() ' + @partitionby +', '+@originalpartition+' into ##temp from '+ @tablename+'')


exec(
'delete a from _original a 
left join ##temp b on a.'+@identity+'=b.'+@identity+' and rownum=1  
where b.rownum is null')

drop table ##temp

end

Buna uyulduktan sonra, proc'u çalıştırarak tüm yinelenen kayıtlarınızı silebilirsiniz. İstenen birincil anahtarı tanımlamadan çiftleri silmek için bu çağrıyı kullanın:

exec delete_dupes '_original'

Tanımlanmış bir istenen birincil anahtara göre kopyaları silmek için bu çağrıyı kullanın:

declare @table1 as columnnames
insert @table1
values ('salesrepid'),('sale')
exec delete_dupes '_original' , @table1
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.