«bulk» etiketlenmiş sorular

Ubuntu 12.04'te PG 9.1 kullanılması. Şu anda, formda olan bir veritabanında çok sayıda UPDATE ifadesi çalıştırmamız 24 saat sürüyor: UPDATE table SET field1 = constant1, field2 = constant2, ... WHERE id = constid (Sadece kimlik ile tanımlanan nesnelerin alanlarının üzerine yazıyoruz.) Değerler harici bir veri kaynağından geliyor (zaten bir tabloda …

37 postgresql  performance  update  bulk 

PostgreSQL'den çok sayıda satırı silmek için en etkili yolun ne olacağını merak ediyorum, bu işlem her gün tekrarlanan bir görevin bir parçası olacaktı; Silinecek binlerce, potansiyel olarak milyonlarca satır olabilir. Her satırda bir tane birincil anahtar dosyası var. Düşündüğüm iki seçenek aşağıdaki satırlar üzerindeydi, ancak PostgreSQL'in içindekileri yeterince iyi bir …

23 postgresql  delete  bulk 

Csv dosyalarından okuyan ve veriyi bir veritabanına ekleyen ifadeyi kullanarak saniyede 60.000LOAD DATA IN FILE eklemeye ulaşabileceğimizi belirten bir makale okudum . Neden normal uçlardan farklı olmalı? EDIT: Ben sadece bir INSERTaçıklama çağırarak gidiş-dönüşü azaltdım: INSERT INTO tblname VALUES (NULL,2,'some text here0'),(NULL,2,'some text here1') ,(NULL,2,'some text here2'),(NULL,2,'some text here3') .....,(NULL,2,'some …

22 mysql  import  bulk 

Özellikleri özetlemek gerekirse: Bir satıcı (Oracle) veritabanına yaklaşık 5 milyon satır eklememiz gerekir. OracleBulkCopy(ODP.NET) kullanarak 500 bin satırlık gruplar için her şey harika gidiyor , ancak 5M'ye kadar ölçeklendirmeye çalıştığımızda, 1M işaretine ulaştığında performans yavaşlamaya başlar, daha fazla satır yüklendiğinde ve yavaş yavaş yavaşlar 3 saat sonra zaman aşımına uğrar. …

14 oracle  bulk 

Sadece belirli bir CSV içeriğine dayalı yeni bir MySQL tablosu oluşturmak için bir yol bulmak için arıyorum. Kullanacağım CSV dosyaları aşağıdaki özelliklere sahiptir; "|" sınırlandırılmış. İlk satır, sütun adlarını (başlıkları) ve ayrıca "|" sınırlandırılmış. Sütun adları ve sırası sabit değildir. Sütun sayısı sabit değildir. Dosyalar büyük boyuttadır (1 mil sıra …

12 mysql  csv  import  bulk 

Ben haftada bir kez (sadece üç int / bigint cols) IP arama (salt okunur referans) verileri içeren yaklaşık 500.000 kayıtları almak gerekiyor. Verileri mevcut tabloyla birleştirme konusunda endişelenmek istemiyorum, eski ve yeniden içe aktarmayı temizlemeyi tercih ederim. İdeal olarak, veri üzerinde çalışan sorgular çalışmaya devam eder (bunların çoğunu alamayız ve …

11 sql-server  import  bulk