Sqlcmd kullanarak SQL Server CSV formatında veri nasıl verilir?

Oldukça kolayca veri gibi bir metin dosyasına dökümü:

sqlcmd -S myServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
     -o "MyData.txt"

Ancak, yardım dosyalarına baktım, SQLCMDancak özellikle CSV için bir seçenek görmedim.

Verileri kullanarak tablodan CSV metin dosyasına dökmenin bir yolu var mı SQLCMD?

Bunun gibi bir şey çalıştırabilirsiniz:

sqlcmd -S MyServer -d myDB -E -Q "select col1, col2, col3 from SomeTable" 
       -o "MyData.csv" -h-1 -s"," -w 700

• -h-1 sütun adı üstbilgilerini sonuçtan kaldırır
  
• -s"," sütun ayırıcıyı,
  
• -w 700 satır genişliğini 700 karakter olarak ayarlar (bunun en uzun satır kadar geniş olması gerekir veya bir sonraki satıra sarılır)

PowerShell ile sorunu Invoke-Sqlcmd'yi Export-Csv'ye bağlayarak düzgün bir şekilde çözebilirsiniz.

#Requires -Module SqlServer
Invoke-Sqlcmd -Query "SELECT * FROM DimDate;" `
              -Database AdventureWorksDW2012 `
              -Server localhost |
Export-Csv -NoTypeInformation `
           -Path "DimDate.csv" `
           -Encoding UTF8

SQL Server 2016, yalnızca SSMS 2016 yükleseniz bile sahip olacağınız cmdlet'i içeren SqlServer modülünü içerir Invoke-Sqlcmd. Bundan önce, SQL Server 2012 , geçerli dizini modülün olduğu zamana değiştirecek eski SQLPS modülünü içermiştir.SQLSERVER:\ ilk o, değiştirmek gerekir için çok (diğer böcek arasında) kullanılan #Requiresyukarıdaki satırı:

Push-Location $PWD
Import-Module -Name SQLPS
# dummy query to catch initial surprise directory change
Invoke-Sqlcmd -Query "SELECT 1" `
              -Database  AdventureWorksDW2012 `
              -Server localhost |Out-Null
Pop-Location
# actual Invoke-Sqlcmd |Export-Csv pipeline

Örneği SQL Server 2008 ve 2008 R2 için uyarlamak için, #Requiressatırı tamamen kaldırın ve standart PowerShell ana bilgisayarı yerine sqlps.exe yardımcı programını kullanın.

Invoke-Sqlcmd , sqlcmd.exe'nin PowerShell eşdeğeridir. Metin yerine System.Data.DataRow nesnelerini çıktılar .

-QueryParametre gibi çalışır -QsqlCmd.exe parametresi. Dışa aktarmak istediğiniz verileri açıklayan bir SQL sorgusu iletin.

-DatabaseParametre gibi çalışır -dsqlCmd.exe parametresi. Dışa aktarılacak verileri içeren veritabanının adını iletin.

-ServerParametre gibi çalışır -SsqlCmd.exe parametresi. Dışa aktarılacak verileri içeren sunucunun adını iletin.

Export-CSV , genel nesneleri CSV'ye serileştiren bir PowerShell cmdletidir. PowerShell ile birlikte gönderilir.

-NoTypeInformationParametre CSV formatında bir parçası olmayan ekstra çıkış bastırır. Varsayılan olarak cmdlet, tür bilgisi içeren bir başlık yazar. Nesnenin türünü daha sonra serisini kaldırmak istediğinizde bilmenizi sağlar Import-Csv, ancak standart CSV'yi bekleyen araçları karıştırır.

-PathParametre gibi çalışır -osqlCmd.exe parametresi. Eski SQLPS modülünü kullanarak sıkışıp kalırsanız, bu değer için tam bir yol en güvenlidir .

-EncodingParametresi gibi çalışır -fveya -usqlCmd.exe parametreleri. Varsayılan olarak Export-Csv yalnızca ASCII karakterleri verir ve diğerlerini soru işaretleriyle değiştirir. Tüm karakterleri korumak ve diğer birçok araçla uyumlu kalmak için UTF8 kullanın.

Bu çözümün sqlcmd.exe veya bcp.exe'ye göre ana avantajı, geçerli CSV çıktısı almak için komutu kesmek zorunda olmamanızdır. Export-Csv cmdlet hepsini sizin için halleder.

Ana dezavantaj, Invoke-Sqlcmdboru hattı boyunca geçmeden önce tüm sonuç setini okumasıdır. Dışa aktarmak istediğiniz sonuç kümesi için yeterli belleğe sahip olduğunuzdan emin olun.

Milyarlarca satır için düzgün çalışmayabilir. Bu bir sorunsa, diğer araçları deneyebilir veya System.Data.SqlClient.SqlDataReader sınıfını Invoke-Sqlcmdkullanarak kendi etkin sürümünüzü kullanabilirsiniz .

sqlcmd -S myServer -d myDB -E -o "MyData.txt" ^
    -Q "select bar from foo" ^
    -W -w 999 -s","

Son satır CSV'ye özgü seçenekleri içerir.

• -W   her bir alandan sonraki boşlukları kaldırın
• -s","   sütun ayırıcıyı virgül (,) olarak ayarlar
• -w 999   satır genişliğini 999 karakter olarak ayarlar

scottm'ın cevabı kullandığım şeye çok yakın, ama -Wgerçekten güzel bir ek olarak görüyorum: Başka bir yerde CSV kullandığımda boşluk kesmem gerekmiyor.

Ayrıca MSDN sqlcmd referansına bakın . O koyar /?utanç seçeneğin çıktı.

Bu bcpamaçlanmamış mı?

bcp "select col1, col2, col3 from database.schema.SomeTable" queryout  "c:\MyData.txt"  -c -t"," -r"\n" -S ServerName -T

Sözdizimini kontrol etmek için bunu komut satırınızdan çalıştırın.

bcp /?

Örneğin:

usage: bcp {dbtable | query} {in | out | queryout | format} datafile
  [-m maxerrors]            [-f formatfile]          [-e errfile]
  [-F firstrow]             [-L lastrow]             [-b batchsize]
  [-n native type]          [-c character type]      [-w wide character type]
  [-N keep non-text native] [-V file format version] [-q quoted identifier]
  [-C code page specifier]  [-t field terminator]    [-r row terminator]
  [-i inputfile]            [-o outfile]             [-a packetsize]
  [-S server name]          [-U username]            [-P password]
  [-T trusted connection]   [-v version]             [-R regional enable]
  [-k keep null values]     [-E keep identity values]
  [-h "load hints"]         [-x generate xml format file]
  [-d database name]

Lütfen bcpsütun başlıklarını çıktılayamayacağınızı unutmayın .

Bkz . Bcp Yardımcı Program dokümanları sayfası.

Yukarıdaki sayfadan örnek:

bcp.exe MyTable out "D:\data.csv" -T -c -C 65001 -t , ...

Bunu yapmak isteyen ancak sütun başlıklarına sahip herkes için bir not, bu bir toplu iş dosyası kullandığım çözüm:

sqlcmd -S servername -U username -P password -d database -Q "set nocount on; set ansi_warnings off; sql query here;" -o output.tmp -s "," -W
type output.tmp | findstr /V \-\,\- > output.csv
del output.tmp

Bu, başlangıç ​​sonuçlarını (üstbilgiler ve veriler arasındaki ----, ---- ayırıcıları dahil) geçici bir dosyaya çıkarır ve sonra bu satırı findstr. Filtrelediği için mükemmel olmadığını unutmayın; -,-çıktıda yalnızca bir sütun varsa işe yaramaz ve bu dizeyi içeren meşru satırları da filtreler.

Bu cevap @ iain-elder'un çözümüne dayanmaktadır. Bu çözüm büyük veritabanı durumu (çözümünde belirtildiği gibi) dışında iyi sonuç verir. Tüm tablonun sisteminizin belleğine sığması gerekiyor ve benim için bu bir seçenek değildi. En iyi çözüm System.Data.SqlClient.SqlDataReader ve özel bir CSV serileştirici ( bir örnek için buraya bakın ) veya MS SQL sürücüsü ve CSV serileştirme ile başka bir dil kullanacağından şüpheleniyorum . Muhtemelen bağımlılık çözümü olmayan orijinal sorunun ruhuna göre, aşağıdaki PowerShell kodu benim için çalıştı. Özellikle $ data dizisini somutlaştırırken ve her $ chunk_size satırı için ekleme modunda Export-Csv'yi çağırırken çok yavaş ve verimsizdir.

$chunk_size = 10000
$command = New-Object System.Data.SqlClient.SqlCommand
$command.CommandText = "SELECT * FROM <TABLENAME>"
$command.Connection = $connection
$connection.open()
$reader = $command.ExecuteReader()

$read = $TRUE
while($read){
    $counter=0
    $DataTable = New-Object System.Data.DataTable
    $first=$TRUE;
    try {
        while($read = $reader.Read()){

            $count = $reader.FieldCount
            if ($first){
                for($i=0; $i -lt $count; $i++){
                    $col = New-Object System.Data.DataColumn $reader.GetName($i)
                    $DataTable.Columns.Add($col)
                }
                $first=$FALSE;
            }

            # Better way to do this?
            $data=@()
            $emptyObj = New-Object System.Object
            for($i=1; $i -le $count; $i++){
                $data +=  $emptyObj
            }

            $reader.GetValues($data) | out-null
            $DataRow = $DataTable.NewRow()
            $DataRow.ItemArray = $data
            $DataTable.Rows.Add($DataRow)
            $counter += 1
            if ($counter -eq $chunk_size){
                break
            }
        }
        $DataTable | Export-Csv "output.csv" -NoTypeInformation -Append
    }catch{
        $ErrorMessage = $_.Exception.Message
        Write-Output $ErrorMessage
        $read=$FALSE
        $connection.Close()
        exit
    }
}
$connection.close()

BCP ile alternatif seçenek:

exec master..xp_cmdshell 'BCP "sp_who" QUERYOUT C:\av\sp_who.txt -S MC0XENTC -T -c '

Genellikle varsayılan olarak CSV'ye dışa aktarılan yardımcı programla (bir parçası olarak ) sqlcmdgelir .bcpmssql-tools

Kullanımı:

bcp {dbtable | query} {in | out | queryout | format} datafile

Örneğin:

bcp.exe MyTable out data.csv

Tüm tabloları karşılık gelen CSV dosyalarına dökmek için Bash betiği aşağıdadır :

#!/usr/bin/env bash
# Script to dump all tables from SQL Server into CSV files via bcp.
# @file: bcp-dump.sh
server="sql.example.com" # Change this.
user="USER" # Change this.
pass="PASS" # Change this.
dbname="DBNAME" # Change this.
creds="-S '$server' -U '$user' -P '$pass' -d '$dbname'"
sqlcmd $creds -Q 'SELECT * FROM sysobjects sobjects' > objects.lst
sqlcmd $creds -Q 'SELECT * FROM information_schema.routines' > routines.lst
sqlcmd $creds -Q 'sp_tables' | tail -n +3 | head -n -2 > sp_tables.lst
sqlcmd $creds -Q 'SELECT name FROM sysobjects sobjects WHERE xtype = "U"' | tail -n +3 | head -n -2 > tables.lst

for table in $(<tables.lst); do
  sqlcmd $creds -Q "exec sp_columns $table" > $table.desc && \
  bcp $table out $table.csv -S $server -U $user -P $pass -d $dbname -c
done

Yukarıdaki bir cevap neredeyse benim için çözdü, ancak doğru bir şekilde ayrıştırılmış bir CSV oluşturmuyor.

İşte benim versiyonum:

sqlcmd -S myurl.com -d MyAzureDB -E -s, -W -i mytsql.sql | findstr /V /C:"-" /B > parsed_correctly.csv

sqlcmdBazı PowerShell alternatifi lehine eski olduğunu söyleyen biri sqlcmd, sadece Windows için değil unutuyor . Linux'tayım (ve Windows'ta PS'den yine de kaçınırım).

Bütün bunları söyledikten sonra bcpdaha kolay buluyorum .

Aşağıdaki 2 nedenden bu yana, çözümümü CMD'de çalıştırmalısınız:

1. Sorguda çift tırnak işareti olabilir

2. Oturum açma kullanıcı adı ve parolası bazen uzak bir SQL Server örneğini sorgulamak için gereklidir

   sqlcmd -U [your_User]  -P[your_password] -S [your_remote_Server] -d [your_databasename]  -i "query.txt" -o "output.csv" -s"," -w 700

Bunu hackish bir şekilde yapabilirsiniz. Kesmek kullanırken dikkatli olun sqlcmd. Veride çift tırnak işareti veya virgül varsa sorun yaşarsınız.

Basit bir komut dosyasını düzgün şekilde yapmak için kullanabilirsiniz:

'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
' Data Exporter                                                 '
'                                                               '
' Description: Allows the output of data to CSV file from a SQL '
'       statement to either Oracle, SQL Server, or MySQL        '
' Author: C. Peter Chen, http://dev-notes.com                   '
' Version Tracker:                                              '
'       1.0   20080414 Original version                         '
'   1.1   20080807 Added email functionality                '
'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
option explicit
dim dbType, dbHost, dbName, dbUser, dbPass, outputFile, email, subj, body, smtp, smtpPort, sqlstr

'''''''''''''''''
' Configuration '
'''''''''''''''''
dbType = "oracle"                 ' Valid values: "oracle", "sqlserver", "mysql"
dbHost = "dbhost"                 ' Hostname of the database server
dbName = "dbname"                 ' Name of the database/SID
dbUser = "username"               ' Name of the user
dbPass = "password"               ' Password of the above-named user
outputFile = "c:\output.csv"      ' Path and file name of the output CSV file
email = "email@me.here"           ' Enter email here should you wish to email the CSV file (as attachment); if no email, leave it as empty string ""
  subj = "Email Subject"          ' The subject of your email; required only if you send the CSV over email
  body = "Put a message here!"    ' The body of your email; required only if you send the CSV over email
  smtp = "mail.server.com"        ' Name of your SMTP server; required only if you send the CSV over email
  smtpPort = 25                   ' SMTP port used by your server, usually 25; required only if you send the CSV over email
sqlStr = "select user from dual"  ' SQL statement you wish to execute
'''''''''''''''''''''
' End Configuration '
'''''''''''''''''''''



dim fso, conn

'Create filesystem object 
set fso = CreateObject("Scripting.FileSystemObject")

'Database connection info
set Conn = CreateObject("ADODB.connection")
Conn.ConnectionTimeout = 30
Conn.CommandTimeout = 30
if dbType = "oracle" then
    conn.open("Provider=MSDAORA.1;User ID=" & dbUser & ";Password=" & dbPass & ";Data Source=" & dbName & ";Persist Security Info=False")
elseif dbType = "sqlserver" then
    conn.open("Driver={SQL Server};Server=" & dbHost & ";Database=" & dbName & ";Uid=" & dbUser & ";Pwd=" & dbPass & ";")
elseif dbType = "mysql" then
    conn.open("DRIVER={MySQL ODBC 3.51 Driver}; SERVER=" & dbHost & ";PORT=3306;DATABASE=" & dbName & "; UID=" & dbUser & "; PASSWORD=" & dbPass & "; OPTION=3")
end if

' Subprocedure to generate data.  Two parameters:
'   1. fPath=where to create the file
'   2. sqlstr=the database query
sub MakeDataFile(fPath, sqlstr)
    dim a, showList, intcount
    set a = fso.createtextfile(fPath)

    set showList = conn.execute(sqlstr)
    for intcount = 0 to showList.fields.count -1
        if intcount <> showList.fields.count-1 then
            a.write """" & showList.fields(intcount).name & ""","
        else
            a.write """" & showList.fields(intcount).name & """"
        end if
    next
    a.writeline ""

    do while not showList.eof
        for intcount = 0 to showList.fields.count - 1
            if intcount <> showList.fields.count - 1 then
                a.write """" & showList.fields(intcount).value & ""","
            else
                a.write """" & showList.fields(intcount).value & """"
            end if
        next
        a.writeline ""
        showList.movenext
    loop
    showList.close
    set showList = nothing

    set a = nothing
end sub

' Call the subprocedure
call MakeDataFile(outputFile,sqlstr)

' Close
set fso = nothing
conn.close
set conn = nothing

if email <> "" then
    dim objMessage
    Set objMessage = CreateObject("CDO.Message")
    objMessage.Subject = "Test Email from vbs"
    objMessage.From = email
    objMessage.To = email
    objMessage.TextBody = "Please see attached file."
    objMessage.AddAttachment outputFile

    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/sendusing") = 2
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserver") = smtp
    objMessage.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserverport") = smtpPort

objMessage.Configuration.Fields.Update

    objMessage.Send
end if

'You're all done!!  Enjoy the file created.
msgbox("Data Writer Done!")

^{Kaynak: VBScript ile CSV'ye SQL çıkışı yazma .}