当前位置: 首页 > news >正文

ADO.NET 新特性之SqlBulkCopy

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

首先:web.config

 <connectionStrings>
    <add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
    <add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
  </connectionStrings>
C#文件: 前台不Copy了,就一个按钮,一个Label

using System;
using System.Data;
using System.Configuration;
using System.Collections;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Data.SqlClient;

public partial class ASP_NET : System.Web.UI.Page
...{
    private DateTime startTime;

    protected void Button1_Click(object sender, EventArgs e)
    ...{
        startTime = DateTime.Now;
        string srcConnString = "";
        string desConnString = "";
        SqlConnection srcConnection = new SqlConnection();
        SqlConnection desConnection = new SqlConnection();
        SqlCommand sqlcmd = new SqlCommand();
        SqlDataAdapter da = new SqlDataAdapter();
        DataTable dt = new DataTable();
        //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
        desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
        //srcConnection.ConnectionString = srcConnString;
        srcConnection.ConnectionString = desConnString;
        sqlcmd.Connection = srcConnection;
        //sqlcmd.CommandText = "select * from jobs";
        sqlcmd.CommandText = "select * from abc";
        sqlcmd.CommandType = CommandType.Text;
        sqlcmd.Connection.Open();
        da.SelectCommand = sqlcmd;
        da.Fill(dt);

        SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
        sbc.BulkCopyTimeout = 5000;
        sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
        sbc.NotifyAfter = dt.Rows.Count;

        try
        ...{
           // sbc.DestinationTableName = "jobs";
            sbc.DestinationTableName = "bcd";
            sbc.WriteToServer(dt);
        }
        catch (Exception ex)
        ...{
            lblCounter.Text = ex.Message.ToString();
        }
        finally
        ...{
            sqlcmd.Clone();
            srcConnection.Close();
            desConnection.Close();
           
        }

    }
    private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
    ...{
        lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
        TimeSpan copyTime = DateTime.Now - startTime;
        lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
    }
}

代码分析:

SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。

sbc.BulkCopyTimeout = 5000000;    //指定操作完成的Timeout时间

 sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
  sbc.NotifyAfter = dt.Rows.Count;

        try
        ...{
           // sbc.DestinationTableName = "jobs";
            sbc.DestinationTableName = "bcd";
            sbc.WriteToServer(dt);
        }
NotifyAfter属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性,也就是目标数据库的表名,

性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习

create table abc
(
  aid int identity(1,1) primary key,
  adesc varchar(50) not null
)
go

/**//**********存储过程**********************/
create proc addData
as
declare @i int
set @i=1
while @i < 1000000
begin
insert into abc values ('testDescription')
set @i = @i + 1
end
go

select * into titles from pubs.dbo.titles where  1> 3 复制跨数据库的表结构

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/huaer1011/archive/2008/04/21/2312361.aspx

相关文章:

  • 基于OHCI的USB主机 —— USB设备取得设备描述符
  • linux学习小组成立!
  • System.Net.Dns.GetHostByAddress(string) 已经过时
  • 基础——使用视图和存储过程的优缺点
  • Delphi窗体の属性介绍
  • CSS学习系列十一:板式
  • Overload, Override and Overwrite ( copy)
  • 远程桌面连接
  • Bing Maps进阶系列八:在Bing Maps中集成OpenStreetMap地图
  • KiB是什么单位
  • 关注程序员健康之——白天打个盹提高记忆力
  • UML建模之业务处理模型(Business Process Model,BPM)
  • RealView Development Suite 4.0 Professional安装
  • SharePoint开发中常见的几种错误类型及解决方法!
  • 实时内存数据库的数据管理
  • 2017 前端面试准备 - 收藏集 - 掘金
  • CEF与代理
  • Golang-长连接-状态推送
  • java8 Stream Pipelines 浅析
  • JavaScript设计模式之工厂模式
  • Java的Interrupt与线程中断
  • Java方法详解
  • java中的hashCode
  • linux安装openssl、swoole等扩展的具体步骤
  • MySQL几个简单SQL的优化
  • Python学习之路13-记分
  • tab.js分享及浏览器兼容性问题汇总
  • webgl (原生)基础入门指南【一】
  • 阿里研究院入选中国企业智库系统影响力榜
  • 阿里云ubuntu14.04 Nginx反向代理Nodejs
  • 动态规划入门(以爬楼梯为例)
  • 官方解决所有 npm 全局安装权限问题
  • 湖南卫视:中国白领因网络偷菜成当代最寂寞的人?
  • 基于Vue2全家桶的移动端AppDEMO实现
  • 开发了一款写作软件(OSX,Windows),附带Electron开发指南
  • 马上搞懂 GeoJSON
  • 免费小说阅读小程序
  • 区块链技术特点之去中心化特性
  • 十年未变!安全,谁之责?(下)
  • 算法之不定期更新(一)(2018-04-12)
  • 异步
  • ​LeetCode解法汇总2696. 删除子串后的字符串最小长度
  • ​无人机石油管道巡检方案新亮点:灵活准确又高效
  • # .NET Framework中使用命名管道进行进程间通信
  • # Panda3d 碰撞检测系统介绍
  • #pragma 指令
  • #我与Java虚拟机的故事#连载03:面试过的百度,滴滴,快手都问了这些问题
  • (补)B+树一些思想
  • (转载)从 Java 代码到 Java 堆
  • .bat批处理(二):%0 %1——给批处理脚本传递参数
  • .describe() python_Python-Win32com-Excel
  • .L0CK3D来袭:如何保护您的数据免受致命攻击
  • .NET Core IdentityServer4实战-开篇介绍与规划
  • .Net Core/.Net6/.Net8 ,启动配置/Program.cs 配置
  • .NET 材料检测系统崩溃分析