2017年1月 总版技术专家分月排行榜第二
2016年12月 总版技术专家分月排行榜第三
匿名用户不能发表回复！|
每天回帖即可获得10分可用分！小技巧：
你还可以输入10000个字符
(Ctrl+Enter)
请遵守CSDN，不得违反国家法律法规。
转载文章请注明出自“CSDN（www.csdn.net）”。如是商业用途请联系原作者。sql 中的Bulk和C# 中的SqlBulkCopy批量插入数据
通常，我们会对于一个文本文件数据导入到中，不多说，上代码。
首先，表结构如下.
　　 其次，在我当前D盘中有个文本文件名为2.txt的文件。
　　在数据库中，可以这样通过一句代码插入。
'D:\2.txt'
fieldterminator=',',
rowterminator='\n'
　　1） bulk insert: 为Sql server 中一个批量插入的操作
2）T_Demo: 要插入的表
3）'D:\2.txt': 数据源文件所在磁盘上的物理路径
4）with 相当于一些插入的附属条件，可以起这里添加一些约束限制条件等
5） fieldterminator=&,&字段的分割符为&，&一般的txt文本数据源的字段分隔都为逗号，当然也可以为其他，比如&|&
6）rowterminator=&\n&各条信息间的分割符为&\n&,一般的txt文本数据源的信息间的分割都是换行符，即一条信息占一行，也可以用其他格式如：&|\n&
　在微软官方给的详细如下：
BULK INSERT
[ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]
FROM 'data_file'
[ [ , ] BATCHSIZE = batch_size ]
[ [ , ] CHECK_CONSTRAINTS ]
[ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]
[ [ , ] DATAFILETYPE =
{ 'char' | 'native'| 'widechar' | 'widenative' } ]
[ [ , ] FIELDTERMINATOR = 'field_terminator' ]
[ [ , ] FIRSTROW = first_row ]
[ [ , ] FIRE_TRIGGERS ]
[ [ , ] FORMATFILE = 'format_file_path' ]
[ [ , ] KEEPIDENTITY ]
[ [ , ] KEEPNULLS ]
[ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]
[ [ , ] LASTROW = last_row ]
[ [ , ] MAXERRORS = max_errors ]
[ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ]
[ [ , ] ROWS_PER_BATCH = rows_per_batch ]
[ [ , ] ROWTERMINATOR = 'row_terminator' ]
[ [ , ] TABLOCK ]
[ [ , ] ERRORFILE = 'file_name' ]
这里我们主要看with中的一些参数：(部分)
1) BATCHSIZE: 指定批处理中的行数
2) CHECK_CONSTRAINTS:启用约束检查，指定在大容量导入操作期间，必须检查所有对目标表或视图的约束。若没有 CHECK_CONSTRAINTS 选项，则忽略所有 CHECK 和 FOREIGN KEY 约束，并在该操作后将表的约束标记为不可信。始终强制使用 UNIQUE、PRIMARY KEY 和 NOT NULL 约束。
3) FIRE_TRIGGERS
指定将在大容量导入操作期间执行目标表中定义的所有插入触发器。如果为针对目标表的 INSERT 操作定义了触发器，则每次完成批处理操作时均激发触发器。
4) KEEPNULLS
指定空列在大容量导入操作期间应保留 Null 值，而不插入列的任何默认值
5) ORDER ( {column[ ASC | DESC ] } [,...n] )
指定如何对数据文件中的数据排序。如果根据表中的聚集索引（如果有）对要导入的数据排序，则可提高大容量导入的性能
6) ERRORFILE='file_name'
指定用于收集格式有误且不能转换为 OLE DB 行集的行的文件。这些行将按原样从数据文件复制到此错误文件中。
--------------------------------------------------------------SqlBulkCopy分割线---------------------------------------------------------------------
　　在C#中，我们可以使用sqlBulkCopy去批量插入数据，其他批量插入方法不在讨论。
　　上代码......
/// SqlBulkCopy批量插入数据
///链接字符串
///一次事务插入的行数
public static void SqlBulkCopyByDataTable(string connectionStr, string dataTableName, DataTable sourceDataTable, int batchSize = 100000)
using (SqlConnection connection=new SqlConnection(connectionStr))
using (SqlBulkCopy sqlBulkCopy=new SqlBulkCopy(connectionStr,SqlBulkCopyOptions.UseInternalTransaction))
sqlBulkCopy.DestinationTableName = dataTableN
sqlBulkCopy.BatchSize = batchS
for (int i = 0; i & sourceDataTable.Columns.C i++)
sqlBulkCopy.ColumnMappings.Add(sourceDataTable.Columns[i].ColumnName,sourceDataTable.Columns[i].ColumnName);
sqlBulkCopy.WriteToServer(sourceDataTable);
catch (Exception ex)
使用方式如下，这里我将插入100万条数据，
　　在SqlBulkCopyByDataTable方法中每次插入10万条，
　　其插入方式SqlBulkCopyOptions.UseInternalTransaction （即事务插入，可用其他方式。）
DataTable dt = new DataTable(&测试&);
dt.Columns.Add(&ID&,typeof(int));
dt.Columns.Add(&Name&, typeof(string));
dt.Columns.Add(&Age&, typeof(int));
for (int i = 1; i &= 1000000; i++)
DataRow row = dt.NewRow();
row[&ID&] =
row[&Name&] = &名字&+i;
row[&Age&] =
dt.Rows.Add(row);
string connStr = System.Configuration.ConfigurationManager.ConnectionStrings[&connStr&].ConnectionS
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
SqlBulkCopyByDataTable(connStr, &T_Demo&, dt);
Console.WriteLine(stopWatch.Elapsed);
Console.ReadKey();
　　　　用时为如下。SqlConnection sqlCon = new SqlConnection(sqlConStr);
sqlCon.Open();
SqlTransaction sqlTran = sqlCon.BeginTransaction(); // 开始事务
SqlBulkCopy sqlBC = new SqlBulkCopy(sqlCon, SqlBulkCopyOptions.Default, sqlTran);
sqlBC.DestinationTableName = &SaleInfo&;
sqlBC.BatchSize = 1;
DataTable dtSale = new DataTable();
dtSale.Columns.Add(&SaleID&, typeof(Int32));
dtSale.Columns.Add(&SaleDate&,typeof(DateTime));
dtSale.Columns.Add(&SaleDep&);
dtSale.Columns.Add(&Operator&);
dtSale.Columns.Add(&CusID&, typeof(Int32));
dtSale.Columns.Add(&SaleServerTime&);
DataRow sqlRow = dtSale.NewRow();
sqlRow[&SaleID&] = 700;
sqlRow[&SaleDate&] = DateTime.T
sqlRow[&SaleDep&] = &管理部&;
sqlRow[&Operator&] = &system&;
sqlRow[&CusID&] = 780;
sqlRow[&SaleServerTime&] = &&;
dtSale.Rows.Add(sqlRow);
sqlBC.WriteToServer(dtSale); //此处报错
catch (Exception)
sqlTran.Rollback();
sqlBC.Close();
sqlCon.Close();
报错内容：来自数据源的 String 类型的给定值不能转换为指定目标列的类型 smalldatetime。
表结构说明：
CREATE TABLE [SaleInfo] (
[SaleID] [int] NOT NULL ,
[HWSaleID] [varchar] (10) COLLATE Chinese_PRC_CI_AS NULL ,
[SaleDate] [smalldatetime] NULL ,
[SaleDep] [varchar] (20) COLLATE Chinese_PRC_CI_AS NULL ,
[Operator] [varchar] (12) COLLATE Chinese_PRC_CI_AS NULL ,
[CusID] [int] NULL ,
[ReturnMoney] [real] NULL ,
[SaleServerTime] [varchar] (9) COLLATE Chinese_PRC_CI_AS NULL ,
CONSTRAINT [PK_SaleInfo] PRIMARY KEY
ON [PRIMARY]
) ON [PRIMARY]
查看表结构后发现C#代码中Columns中少了[HWSaleID]
和[ReturnMoney] （程序中没用到），数据库中删除了这2列后程序正常了。
结论：SqlBulkCopy
提交数据不同于Insert语句，DataTable.Columns必须与数据库中的列完全匹配（包括列数量及数据类型）.
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：35729次
排名：千里之外
原创：20篇
评论：12条
(1)(2)(1)(11)(4)(1)(4)(1)
(window.slotbydup = window.slotbydup || []).push({
id: '4740881',
container: s,
size: '200,200',
display: 'inlay-fix'时间: February 13, 2015
本文引用了来自 的代码。
大家经常抱怨EF插入批量数据非常慢，可以简单的通过设置：
context.Configuration.AutoDetectChangesEnabled =
context.Configuration.ValidateOnSaveEnabled =
EF6也可以用
DbSet.AddRange()
来优化性能，但有的同学觉得依然不够快，以至于通过直接写SQL来插入数据，但这样会让代码看起来很不爽。
下面提供一个更好一些的方法，这个方法是用了BCP，是微软专门为批量数据导入导出SQLServer设计的，废话不多说，直接看代码：
public static void BulkInsert&T&(string connection, string tableName, IList&T& list)
using (var bulkCopy = new SqlBulkCopy(connection))
bulkCopy.BatchSize = list.C
bulkCopy.DestinationTableName = tableN
var table = new DataTable();
var props = TypeDescriptor.GetProperties(typeof(T))
.Cast&PropertyDescriptor&()
.Where(propertyInfo =& propertyInfo.PropertyType.Namespace.Equals("System"))
.ToArray();
foreach (var propertyInfo in props)
bulkCopy.ColumnMappings.Add(propertyInfo.Name, propertyInfo.Name);
table.Columns.Add(propertyInfo.Name, Nullable.GetUnderlyingType(propertyInfo.PropertyType) ?? propertyInfo.PropertyType);
var values = new object[props.Length];
foreach (var item in list)
for (var i = 0; i & values.L i++)
values[i] = props[i].GetValue(item);
table.Rows.Add(values);
bulkCopy.WriteToServer(table);
使用方法如下：
var imports = new List&Product&();
BulkInsert(context.Database.Connection.ConnectionString, "Products", imports);
这个方法适用于实体的字段名和数据库表之间的列名相同的情况，当然EF的CodeFirst模式下默认就是这样的，可以运行的很好。
有多快呢？引用一张图：
那是相当的给力，试试看啦。