Data.table içindeki bir satırı referans ile nasıl silebilirim?

Sorum, kopyalamaya karşı referans ile atama ile ilgili data.table. Birinin referansla benzer şekilde satırları silip silemeyeceğini bilmek istiyorum

DT[ , someCol := NULL]

Hakkında bilmek istiyorum

DT[someRow := NULL, ]

Sanırım bu işlevin var olmamasının iyi bir nedeni var, bu yüzden belki de aşağıdaki gibi olağan kopyalama yaklaşımına iyi bir alternatif gösterebilirsiniz. Özellikle, örneğin favorim ile gitmek (data.table),

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
#      x y v
# [1,] a 1 1
# [2,] a 3 2
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

Diyelim ki bu satırdaki ilk satırı silmek istiyorum. Tablo. Bunu yapabileceğimi biliyorum:

DT <- DT[-1, ]

ancak genellikle bundan kaçınmak isteyebiliriz, çünkü nesneyi kopyalıyoruz (ve bu, N object.size(DT), burada işaret edildiği gibi yaklaşık 3 * N bellek gerektirir . Şimdi buldum set(DT, i, j, value). Belirli değerleri nasıl ayarlayacağımı biliyorum (burada olduğu gibi: tümünü ayarla) satır 1 ve 2'deki değerler ve sütun 2 ve 3 sıfıra)

set(DT, 1:2, 2:3, 0) 
DT
#      x y v
# [1,] a 0 0
# [2,] a 0 0
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

Ama ilk iki satırı nasıl silebilirim? iş

set(DT, 1:2, 1:3, NULL)

DT'nin tamamını NULL olarak ayarlar.

SQL bilgim çok sınırlı, bu yüzden bana söylüyorsunuz: data.table verilen SQL teknolojisini kullanıyor, SQL komutuna eşdeğer mi

DELETE FROM table_name
WHERE some_column=some_value

data.table içinde?

İyi soru. data.tablehenüz referansla satırları silemiyor.

data.tableBildiğiniz gibi sütun işaretçileri vektörünü aşırı tahsis ettiğinden, başvuru ile sütun ekleyebilir ve silebilir . Plan, satırlar için benzer bir şey yapmak ve hızlı insertve izin vermektir delete. memmoveSilinmiş satırlardan sonra öğeleri (her sütunda) düzenlemek için C'de bir satır silme kullanılır . Tablonun ortasındaki bir satırın silinmesi, SQL gibi bir satır deposu veritabanına kıyasla hala oldukça verimsiz olacaktır; bu, bu satırların tablodaki her yere hızlı satır ekleme ve silme için daha uygundur. Ancak yine de, silinmiş satırlar olmadan yeni büyük bir nesneyi kopyalamaktan çok daha hızlı olurdu.

Öte yandan, kolon vektörleri olacaktır, çünkü aşırı tahsis satır eklenir (ve silinmiş) olabilir sonunda anında; örneğin, büyüyen bir zaman dizisi.

Sorun olarak dosyalandı: Satırları referans ile silin .

bellek kullanımını yerinde silmeye benzer hale getirmek için almış olduğum yaklaşım, bir seferde bir sütunu alt kümeye koymak ve silmektir. uygun bir C memmove çözümü kadar hızlı değil, ama bellek kullanımı burada tüm umurumda. böyle bir şey:

DT = data.table(col1 = 1:1e6)
cols = paste0('col', 2:100)
for (col in cols){ DT[, (col) := 1:1e6] }
keep.idxs = sample(1e6, 9e5, FALSE) # keep 90% of entries
DT.subset = data.table(col1 = DT[['col1']][keep.idxs]) # this is the subsetted table
for (col in cols){
  DT.subset[, (col) := DT[[col]][keep.idxs]]
  DT[, (col) := NULL] #delete
}

@ Vc273'ün cevabı ve @ Frank'in geri bildirimlerine dayanan bir çalışma fonksiyonu.

delete <- function(DT, del.idxs) {           # pls note 'del.idxs' vs. 'keep.idxs'
  keep.idxs <- setdiff(DT[, .I], del.idxs);  # select row indexes to keep
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs]); # this is the subsetted table
  setnames(DT.subset, cols[1]);
  for (col in cols[2:length(cols)]) {
    DT.subset[, (col) := DT[[col]][keep.idxs]];
    DT[, (col) := NULL];  # delete
  }
   return(DT.subset);
}

Ve kullanım örneği:

dat <- delete(dat,del.idxs)   ## Pls note 'del.idxs' instead of 'keep.idxs'

Burada "dat" bir data.table dosyasıdır. 1.4M satırlardan 14k satırları kaldırmak, dizüstü bilgisayarımda 0.25 saniye sürüyor.

> dim(dat)
[1] 1419393      25
> system.time(dat <- delete(dat,del.idxs))
   user  system elapsed 
   0.23    0.02    0.25 
> dim(dat)
[1] 1404715      25
> 

PS. SO için yeni olduğum için, @ vc273 adlı konuya yorum ekleyemedim :-(

Bunun yerine veya NULL olarak ayarlamaya çalışırken, NA olarak ayarlamayı deneyin (ilk sütun için NA türüyle eşleşir)

set(DT,1:2, 1:3 ,NA_character_)

Konu hala birçok kişi (ben dahil) ilginç.

Buna ne dersin? Kullandığım assignyerine glovalenvve kod, daha önce tarif edildiği. Orijinal ortamı yakalamak daha iyi olur, ancak en azından içinde globalenvbellek verimlidir ve ref ile bir değişiklik gibi davranır.

delete <- function(DT, del.idxs) 
{ 
  varname = deparse(substitute(DT))

  keep.idxs <- setdiff(DT[, .I], del.idxs)
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs])
  setnames(DT.subset, cols[1])

  for (col in cols[2:length(cols)]) 
  {
    DT.subset[, (col) := DT[[col]][keep.idxs]]
    DT[, (col) := NULL];  # delete
  }

  assign(varname, DT.subset, envir = globalenv())
  return(invisible())
}

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
delete(DT, 3)

İşte kullandığım bazı stratejiler. Bir .ROW işlevinin gelebileceğine inanıyorum. Aşağıdaki bu yaklaşımların hiçbiri hızlı değildir. Bunlar, altkümelerin veya filtrelemenin biraz ötesinde bazı stratejilerdir. Sadece verileri temizlemeye çalışırken dba gibi düşünmeye çalıştım. Yukarıda belirtildiği gibi, verilerdeki satırları seçebilir veya kaldırabilirsiniz. Tablo:

data(iris)
iris <- data.table(iris)

iris[3] # Select row three

iris[-3] # Remove row three

You can also use .SD to select or remove rows:

iris[,.SD[3]] # Select row three

iris[,.SD[3:6],by=,.(Species)] # Select row 3 - 6 for each Species

iris[,.SD[-3]] # Remove row three

iris[,.SD[-3:-6],by=,.(Species)] # Remove row 3 - 6 for each Species

Not: .SD orijinal verilerin bir alt kümesini oluşturur ve j veya sonraki verilerde oldukça fazla iş yapmanızı sağlar. Tablo. Bkz. Https://stackoverflow.com/a/47406952/305675 . Burada süsenimi Sepal Length'e göre sipariş ettim, minimum olarak belirli bir Sepal.Length alın, tüm Türlerin ilk üçünü (Sepal Length'e göre) seçin ve eşlik eden tüm verileri döndürün:

iris[order(-Sepal.Length)][Sepal.Length > 3,.SD[1:3],by=,.(Species)]

Her şeyden önce yaklaşımlar, satırları kaldırırken bir data.table dosyasını yeniden sıralar. Bir data.table dosyasını aktarabilir ve şimdi aktarılan sütunlar olan eski satırları kaldırabilir veya değiştirebilirsiniz. Aktarılan bir satırı kaldırmak için ': = NULL' kullanılırken, sonraki sütun adı da kaldırılır:

m_iris <- data.table(t(iris))[,V3:=NULL] # V3 column removed

d_iris <- data.table(t(iris))[,V3:=V2] # V3 column replaced with V2

Data.frame öğesini bir data.table dosyasına geri aktardığınızda, orijinal data.table öğesinden yeniden adlandırmak ve silme durumunda sınıf özniteliklerini geri yüklemek isteyebilirsiniz. Şimdi aktarılan bir data.table öğesine ": = NULL" uygulamak tüm karakter sınıflarını oluşturur.

m_iris <- data.table(t(d_iris));
setnames(d_iris,names(iris))

d_iris <- data.table(t(m_iris));
setnames(m_iris,names(iris))

Bir Anahtarla veya Anahtarsız yapabileceğiniz yinelenen satırları kaldırmak isteyebilirsiniz:

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]     

d_iris[!duplicated(Key),]

d_iris[!duplicated(paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)),]  

'.I' ile artımlı bir sayaç eklemek de mümkündür. Daha sonra çoğaltılan anahtarları veya alanları arayabilir ve sayaçla kaydı kaldırarak bunları kaldırabilirsiniz. Bu, hesaplama açısından pahalıdır, ancak kaldırılacak çizgileri yazdırabileceğiniz için bazı avantajları vardır.

d_iris[,I:=.I,] # add a counter field

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]

for(i in d_iris[duplicated(Key),I]) {print(i)} # See lines with duplicated Key or Field

for(i in d_iris[duplicated(Key),I]) {d_iris <- d_iris[!I == i,]} # Remove lines with duplicated Key or any particular field.

Ayrıca bir satırı 0 veya NA ile doldurabilir ve ardından bunları silmek için bir i sorgusu kullanabilirsiniz:

 X 
   x v foo
1: c 8   4
2: b 7   2

X[1] <- c(0)

X
   x v foo
1: 0 0   0
2: b 7   2

X[2] <- c(NA)
X
    x  v foo
1:  0  0   0
2: NA NA  NA

X <- X[x != 0,]
X <- X[!is.na(x),]