数据库sql2014插入极限_百度知道
数据库sql2014插入极限
外贸员';李勇&#39,&#39,3000)2,Salary) values(',',Salary) values(&#39,&#39.为每个职工创建数据库登录名和用户名,&#39.插入职工数据;王明'周平&#39,Salary) values(';, [UserName] [nvarchar](50) COLLATE Chinese_PRC_CI_AS NOT NULL,Age,Duty,7500)insert into EmpTable(N刘星&#39,Duty, [UserPassWord] [nvarchar](50) COLLATE Chinese_PRC_CI_AS NULL,从而设置权限,25,Age, [CreateDate] [datetime] NULL CONSTRAINT [DF_Obas_SystemUser_CreateDate]
DEFAULT (getdate()),12500)insert into EmpTable(Name,&#39：这样不是很好的管理方式;,Duty,21,Age, [CreateName] [nvarchar](50) COLLATE Chinese_PRC_CI_AS NULL,6500)insert into EmpTable(Name,Duty,35,Salary) values(', CONSTRAINT [PK_Obas_SystemUser] PRIMARY KEY CLUSTERED ( [UserName] ASC)WITH (PAD_INDEX
= OFF, [GroupName] [nvarchar](50) COLLATE Chinese_PRC_CI_AS NULL;;杨兰&#39,Age,Salary) values(&#39,3500)insert into EmpTable(Name1;外贸员'外贸总监&#39：EmpTable（职工表）insert into EmpTable(N外贸员&#39。CREATE TABLE [dbo];,Age.[Obas_SystemUser]( [Flag] [nchar](10) COLLATE Chinese_PRC_CI_AS NULL,24,Duty,20;，可以创建一个用户表;外贸员&#39, [LoginTime] [datetime] NULL
PHP|Android|HTML5|UI|IOS培训...
主营：PHP培训，HTML5培训，UI培训，Android培训，Linux培训，iOS培训
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)_小组_ThinkSAAS
极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)
极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)
实际工作中有时候需要把大量数据导入数据库，然后用于各种程序计算，本实验将使用5中方法完成这个过程，并详细记录各种方法所耗费的时间。
本实验中所用到工具为VS2008和SQL SERVER 2000、SQL SERVER 2008，分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中，实验环境是DELL GCPU，2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。
还要有一点需要进行说明，本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块，这个模块只是对SQL配置的读取和封装，并不会对最终结果有本质性的影响，关于IsLine FrameWork框架方面的知识，请参考“IsLine FrameWork”框架系列文章。
下面进入正题，分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法，挑战4秒极限。
数据库方面使用SQL 2000与SQL 2008，表名TableB，字段名称为Value1，数据库名可以在App.config中修改，默认为test。
图 1 试验中的5种方法
方法一.使用基本的Insert 语句
这种方法是最基本的方法，大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作，是不是这样呢？
本方法中将100万数据分为10个批次，每个批次10万条，每10万条1个事务，分10次导入数据库。
基本语句:Insert Into TableB (Value1) values (‘”+i+”’);
说明：语句中的i是宿主程序中的一个累加变量，用于填充数据库字段中的值。
SQL 2000 耗时：901599
SQL 2008耗时：497638
方法二.使用BULK INSERT语句
这个类的效果，在本实验中可以说是最令人满意的了，它的使用最简便、灵活，速度很快。
“BULK INSERT”语句似乎不是很常用， Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表，然后直接将临时表中的数据导入Oracle其他表中的方法，这种方法的速度非常令人满意，SQL SERVER的BULK INSERT是不是同样令人满意呢？
基本语句：BULK INSERT TableB FROM 'c:\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000)
说明：“c:\sql.txt”是一个预先生成的包含100条数据的文件，这些数据以“|”符号分隔，每10万条数据一个事务。
SQL 2000耗时：4009
SQL 2008耗时：10722
方法三.在多线程中使用BULK INSERT
在方法二的基础上，将100万条数据分五个线程，每个线程负责20万条数据，每5万条一个事物，五个线程同时启动，看看这样的效果吧。
SQL 2000耗时：21099
SQL 2008耗时：10997
方法四.使用SqlBulkCopy类
这种方法速度也很快，但是要依赖内存，对于几千万条、多字段的复杂数据，可能在内存方面会有较大的消耗，不过可以使用64位解决方案处理这个问题。
几千万条、多字段的数据的情况一般在一些业务场景中会遇到，比如计算全球消费者某个业务周期消费额时，要先获得主数据库表中的会员消费记录快照，并将快照储存至临时表中，然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中，而是来自多个国家的多台服务器，这样我们就必须借助内存或外存设备中转这些数据，然后清洗、合并、检测，最后导入专用表供计算程序使用。
基本语句：
using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn))
sqlBC.BatchSize = 100000;
sqlBC.BulkCopyTimeout = 60;
sqlBC.DestinationTableName ="dbo.TableB";
sqlBC.ColumnMappings.Add("valueA","Value1");
sqlBC.WriteToServer(dt);
BatchSize = 100000; 指示每10万条一个事务并提交
BulkCopyTimeout = 60; 指示60秒按超时处理
DestinationTableName ="dbo.TableB"; 指示将数据导入TableB表
ColumnMappings.Add("valueA","Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配
WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable，其中包含valueA字段。
SQL 2000耗时：4989
SQL 2008耗时：10412
方法五.在多线程中使用SqlBulkCopy类
基于方法四，将100万条数据分五个线程，每个线程负责20万条数据，每5万条一个事物，五个线程同时启动，看看这样的效果吧。
SQL 2000耗时：7682
SQL 2008耗时：10870
测试方式 SQL 2000 SQL 2008
基本Insert Into 638
单线程Bulk Insert
多线程Bulk Insert
单线程SqlBulkCopy
多线程SqlBulkCopy
以上就是这几天的实验结果了，比较令人失望的是SQL SERVER 2008导入数据的性能似乎并不想我们想象的那样优秀。
另外，有下载源代码的帮我看看，为什么多线程的成绩还不如单线程的优秀呢？是静态资源使用不当造成的，还是其他什么原因？
源码地址：
测试数据下载地址：/isline/Data.rar
PHP开发框架
服务器环境
ThinkSAAS商业授权：
ThinkSAAS为用户提供有偿个性定制开发服务
ThinkSAAS将为商业授权用户提供二次开发指导和技术支持
手机客户端
ThinkSAAS接收任何功能的Iphone(IOS)和Android手机的客户端定制开发服务
官方1群：【已满】
让ThinkSAAS更好，把建议拿来。1546人阅读
C# Winform开发（6）
今天碰到一个郁闷的问题，之前还好好的，查询的时候，但是在更新或者插入的时候使用到了中文字符，则在数据库中就显示无数个问号？？？
在sql数据库的字段前加N就可以解决这个问题
SELECT * FROM USER WEHER NAME=N'小明明'
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：122248次
积分：2237
积分：2237
排名：第10641名
原创：88篇
转载：17篇
评论：94条
(1)(3)(2)(1)(3)(1)(11)(5)(20)(15)(11)(8)(5)(2)(3)(1)(2)(2)(1)(2)(5)(2)百度文库-信息提示
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
对不起，该文档已被删除，无法查看
4秒后，自动返回首页sql DB2批量插入测试数据 - 为程序员服务
为程序员服务
DB2批量插入测试数据
INSERT INTO USER (USERID, MOBILE)
SELECT CHAR(ROW_NUMBER() OVER()) AS USERID,
CHAR( + ROW_NUMBER() OVER()) AS MOBILE
FROM SYSCAT.COLUMNS T1
JOIN SYSCAT.COLUMNS T2 ON T1.COLNAME != T2.COLNAME FETCH FIRST 10000 ROWS ONLY
--该片段来自于
您可能的代码
相关聚客文章
相关专栏文章