Belleği yetersiz olmadan birçok ek içeren büyük bir komut dosyasını nasıl çalıştırabilirim?

Soru:

Seçilmiş ifadelerden yaklaşık 45 bin alıntı içeren bir senaryom var. Denemeye çalıştığımda, hafızamın tükendiğini belirten bir hata mesajı alıyorum. Bu betiğin çalışmasını nasıl sağlayabilirim?

Bağlam:

1. Bir uygulamanın, müşterinin kullandığı başka bir uygulama ile iyi çalışmasını sağlamak için bazı yeni veri alanları eklendi.
2. İstemciden, mevcut veri öğelerini bu yeni alanların değerleriyle eşleştiren veri dolu bir veri tablosu aldım.
3. İfade eklemek için elektronik tablo dönüştürüldü.
4. Eğer sadece bazı ifadeleri çalıştırırsam, işe yarıyor ama tüm script çalışmıyor.
5. Hayır. Yazım hatası yok.

Farklı bir yol varsa, bu verileri yüklemeliyim, beni şaşırtmaktan ve bana bildirmekten çekinmeyin.

SQL Server 2005 için maksimum parti boyutu NPS'nin genellikle 4KB olduğu 65.536 * Ağ Paket Boyutu'dur (NPS). 256 MB'a kadar çalışır. Bu, insert ifadelerinizin her birinin ortalama 5,8 KB olacağı anlamına gelir. Bu doğru gözükmüyor, ama belki de fazladan boşluklar var veya içinde olağandışı bir şey var.

İlk önerim, her INSERT ifadesinden sonra bir "GO" ifadesi koymak olacak. Bu, tek bir 45.000 INSERT ifadesi kümenizi 45.000 ayrı gruba böler. Bu sindirimi daha kolay olmalı. Dikkatli olun, eğer bu eklerden biri arızalanırsa, suçluyu bulmakta zorlanabilirsiniz. Kendinizi bir işlemle korumak isteyebilirsiniz. Editörünüzün iyi bir ara ve değiştir özelliği varsa (\ r \ n gibi karakterleri aramanıza ve değiştirmenize izin verecek) veya bir makro özelliğine sahipseniz bu ifadeleri hızlı bir şekilde ekleyebilirsiniz.

İkinci öneri, verileri doğrudan Excel'den içe aktarmak için bir Sihirbaz kullanmaktır. Sihirbaz, sahne arkasında sizin için küçük bir SSIS paketi oluşturur ve sonra bunu çalıştırır. Bu problemi yaşamayacak.

BULK INSERTveya bcp45.000 insert ifadesinden daha uygun seçenekler gibi görünüyor.

İnsert ifadelerine bağlı kalmanız gerekirse, birkaç seçeneği göz önünde bulundururum:

Y: Günlük ve küme üzerindeki etkiyi en aza indirmek için işlemleri kullanın ve her birinde 100 veya 500 veya 1000 deyim içeren kümeleri paketleyin. Örneğin

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B: Bireysel ekleme ifadeleri yerine UNION ALL, bir kerede 100 veya 500 ifade kullanın , örn.

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

Kesinlik için hata yapma konusunda bir hata yapmadım, ama asıl nokta, SQL Server'a asla tek bir 45.000 ayrı ifade demeti göndermeye çalışmam.

Neden bellek yetersizliği hatası aldığınızdan emin değilim, ancak daha kolay bir yaklaşım var.

Verileri e-tablodan ayrılmış bir formata (örn. Csv) verebilirsiniz, verileri eklemek için SSMS'deki veri alma sihirbazını kullanabilirsiniz:

Birden fazla SqlBulkCopy kullanarak, geçici bir tablo oluşturun. Temp tablosuna yeni veriler ekleyin, ardından temp tablosundaki verileri varolan bir tabloya birleştirin. C # SqlBulkCopy.WriteToServer Yöntemini (DataTable) kullanan örnek . Umarım yardımcı olur

Evet bunu yapabiliriz, bir OutOfMemory sorununu önlemek için BCP (Toplu Kopyalama Programı) yaklaşımını denedim .

Not : SQL Server 2014'te denendi.

BCP'de, önce Kaynak veritabanı verilerini bcp dosyasına (yerel dizin klasöründe) vermemiz ve sonra bu bcp dosyasını hedef veritabanına içe aktarmamız gerekir .

Aşağıda kek yürüyüşü basamakları yer almaktadır:

Not:

a) Hedef veritabanında boş tablonun bulunduğundan emin olun

b) emin olun Temp klasörünü mevcuttur C sürücüsüne

1. Aşağıdaki komutu kullanarak Export_Data.bat adlı bir yarasa dosyası oluşturun :

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   Duraklat

2. Bu yarasa dosyasını çalıştırın, bunun sonucunda Temp klasöründe bir bcp dosyası oluşturulur.

3. Ardından , aşağıdaki komutla Import_Data.bat adlı başka bir yarasa dosyası oluşturun :

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   Duraklat

Ve işte başlıyoruz!