当前位置: 首页 > news >正文

MySQL与Oracle之间互相拷贝数据的Java程序

因为工作需要,先是需要将一个小型的MySQL数据库中的数据拷贝到Oracle中;近期又有需要将一个中型的Oracle数据库拷贝到MySQL中。曾经找过网上各种转换工具,大多收费的,自己写个吧,还一切可控。

转换的前提是两种数据库中已经存在相同的数据结构,可以自己利用SQL语句在目标数据库生成数据结构;或者是使用工具仅生成数据结构(如:DBMover,它是收费的,但可以免费转换数据结构,好像不包括外键,网址:http://dbmover.com/cn/)。

第一个程序,从MySQL拷贝到Oracle

很久以前写的,将一个小型的MySQL数据库中的表拷贝到Oracle数据库中(十万数据量级别,没有优化,大数据量可能很慢):

package com.clzhang.sample.jdbc;

import java.sql.*;

/**
 * 从MySQL数据库拷贝表数据到Oracle数据库中的程序。
 * 前提:两个数据库中都具有相关的表,且表结构相同,目标数据库中还不能存在冲突的数据。
 * @author acer
 *
 */
public class CopyMySQL2Oracle {
    // 源数据库,目标数据库的连接配置
    String mysql_jdbc_url = "jdbc:mysql://localhost/xuejia?user=root&password=password1&useUnicode=true&characterEncoding=gb2312";
    
    String jdbc_url = "jdbc:oracle:thin:@127.0.0.1:1521:orcl";
    String jdbc_user = "mytest";
    String jdbc_password = "test001";
    
    public void startProcess(String tableName) throws Exception {
        // 创建到两个数据库的连接
        Class.forName("org.gjt.mm.mysql.Driver");
        Connection connSource = DriverManager.getConnection(mysql_jdbc_url);

        Class.forName("oracle.jdbc.driver.OracleDriver");
        Connection connDest = DriverManager.getConnection(jdbc_url, jdbc_user,
                jdbc_password);
        
        // 打开源数据库中相关表
        StringBuilder sb = new StringBuilder();
        sb.append("insert into " + tableName + "(");
        Statement stmt= connSource.createStatement();
        ResultSet rs = stmt.executeQuery("select * from " + tableName);
        
        // 显示共计有多少条记录
        rs.last();
        System.out.println(tableName + "表共计有:"+ rs.getRow() + "条记录,正在处理......");
        rs.beforeFirst();
        
        // 先计算目标数据库的PreparedStatement的SQL语句
        ResultSetMetaData rsmd = rs.getMetaData();
        int numberOfColumns = rsmd.getColumnCount();
        for(int i=1; i<=numberOfColumns;i++) {
            sb.append(rsmd.getColumnName(i) + ",");
        }
        sb.deleteCharAt(sb.length()-1);
        sb.append(")values(");
        for(int i=1; i<=numberOfColumns;i++) {
            sb.append("?,");
        }
        sb.deleteCharAt(sb.length()-1);
        sb.append(")");
        System.out.println(sb.toString());
        
        // 给PreparedStatement赋值,然后更新;如果是大数量的情况,可以考虑Batch处理。因为这里的数据量小,直接单条更新了。
        PreparedStatement pstmt = connDest.prepareStatement(sb.toString());
        while(rs.next()) {
            for(int i=1; i<=numberOfColumns;i++) {
                pstmt.setObject(i, rs.getObject(i));
            }
            
            System.out.print("-");
            pstmt.executeUpdate();
        }
        
        // 关闭各资源 
        rs.close();
        stmt.close();
        pstmt.close();
        
        connSource.close();
        connDest.close();
    }

    public static void main(String[] args) throws Exception {
        CopyMySQL2Oracle ins = new CopyMySQL2Oracle();
        ins.startProcess("PRODUCT");
        
        // ...需要拷贝的表名在下面加入即可,注意顺序,比如有外键的表应该排列在主表之后。
    }
}


第二个程序,从Oracle拷贝到MySQL

最近写的,一个中小型数据库(百万级别,做了适当优化,仍旧挺慢的)的拷贝程序,供参考吧。

建议在拷贝之前,禁用、或者是删除目标数据库中的相关索引以提高速度;拷贝完成之后,重新建立索引。

package com.clzhang.sample.jdbc;

import java.sql.*;

/**
 * 这是一个将Oracle数据库中的数据拷贝到MySQL数据库中的简单程序。
 * 仅考虑NUMBER/CHAR/VARCHAR/CLOB/DATE/TIMESTAMP等字段类型。
 * BLOB没有考虑(因为我的数据库中没有BLOB字段,无法测试)。
 * 
 * 前提:两个数据库中都具有相关的表,且表结构相同,目标数据库中还不能存在冲突的数据。
 * @author acer
 *
 */
public class CopyOracle2MySQL {
    // 源数据库,目标数据库的连接配置
    private final String DEST_MYSQL_JDBC_URL = "jdbc:mysql://localhost/mybbs?user=root&password=password1&useUnicode=true&characterEncoding=utf-8";
    
    private final String SOURCE_JDBC_URL = "jdbc:oracle:thin:@127.0.0.1:1521:orcl";
    private final String SOURCE_JDBC_USER = "mybbs";
    private final String SOURCE_JDBC_PASSWORD = "bbs001";

    public void startImport() throws Exception {
        // 创建到两个数据库的连接
        Class.forName("org.gjt.mm.mysql.Driver");
        Class.forName("oracle.jdbc.driver.OracleDriver");

        Connection connDest = DriverManager.getConnection(DEST_MYSQL_JDBC_URL);
        Connection connSource = DriverManager.getConnection(SOURCE_JDBC_URL, SOURCE_JDBC_USER,
                SOURCE_JDBC_PASSWORD);
        
        // 查询出当前用户下面的所有表,依次处理(如果有外键,建议人工输入各表,以保证顺序;如果没有外键,直接运行下面程序即可。)
        try {
            
/**            
             // 方式一:自动运行
            Statement stmt = connSource.createStatement();
            ResultSet rs = stmt.executeQuery("select TABLE_NAME from USER_TABLES");
            while(rs.next()) {
                try {
                    importTable(connSource, connDest, rs.getString("TABLE_NAME"));
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
            rs.close();
            stmt.close();
*/            
            
            // 方式二:人工输入各表名(需要保证顺序,以确保有外键的表在主表之后插入数据)
            importTable(connSource, connDest, "BBSDETAIL");
            importTable(connSource, connDest, "BBSCOMMENT");
        } finally {
            // 自动关闭数据库资源?
            connDest.close();
            connSource.close();
        }
    }
    
    private void importTable(Connection connSource, Connection connDest, String tablename) throws Exception {
        Statement stmt = null;
        PreparedStatement pstmt = null;
        try {
            // 给PreparedStatement赋值,然后更新;如果是大数量的情况,可以考虑Batch处理。因为这里的数据量小,直接单条更新了。
            // 打开源数据库中相关表
            StringBuilder insertSQL = new StringBuilder();
            insertSQL.append("insert into " + tablename + "(");
            stmt= connSource.createStatement();
            ResultSet rs = stmt.executeQuery("select * from " + tablename);
            
            // 先计算目标数据库的PreparedStatement的SQL语句
            ResultSetMetaData rsmd = rs.getMetaData();
            int numberOfColumns = rsmd.getColumnCount();
            for(int i=1; i<=numberOfColumns;i++) {
                insertSQL.append(rsmd.getColumnName(i) + ",");
            }
            insertSQL.deleteCharAt(insertSQL.length()-1);
            insertSQL.append(")values(");
            for(int i=1; i<=numberOfColumns;i++) {
                insertSQL.append("?,");
            }
            insertSQL.deleteCharAt(insertSQL.length()-1);
            insertSQL.append(")");
            System.out.println(insertSQL.toString());
            
            // 计数
            int count = 0;
            // 每多少条记录提交一次,以提高效率
            int batchCount = 1000;
            pstmt = connDest.prepareStatement(insertSQL.toString());
            while(rs.next()) {
                pstmt.clearParameters();
                for(int i=1; i<=numberOfColumns;i++) {
                    if(rsmd.getColumnType(i) == java.sql.Types.NUMERIC) {
                        // 2
                        pstmt.setInt(i, rs.getInt(i));
                    }else if(rsmd.getColumnType(i) == java.sql.Types.DOUBLE) {
                        // 8
                        pstmt.setDouble(i, rs.getDouble(i));
                    }else if(rsmd.getColumnType(i) == java.sql.Types.CHAR
                            || rsmd.getColumnType(i) == java.sql.Types.VARCHAR
                            || rsmd.getColumnType(i) == java.sql.Types.CLOB) {
                        // 1
                        // 12
                        // 2005
                        pstmt.setString(i, rs.getString(i));
                    }else if(rsmd.getColumnType(i) == java.sql.Types.DATE) {
                        // 91
                        pstmt.setDate(i, rs.getDate(i));
                    }else if(rsmd.getColumnType(i) == java.sql.Types.TIMESTAMP) {
                        // 93
                        pstmt.setTimestamp(i, rs.getTimestamp(i));
                    }else {
                        pstmt.setObject(i, rs.getObject(i));
                    }
                }
                pstmt.addBatch();
                
                // 输出统计信息
                count++;
                if(count % batchCount == 0) {
                    // 若干条提交一次
                    System.out.println();
                    System.out.print("正在更新数据库...");
                    pstmt.executeBatch();
                    System.out.println(count);
                }
            }
            if(count % batchCount != 0) {
                // 最后提交一次
                System.out.println();
                System.out.print("正在更新数据库...");
                pstmt.executeBatch();
                System.out.println(count);
            }
            
            rs.close();
        } finally {
            if(stmt != null) stmt.close();
            if(pstmt != null) pstmt.close();
        }
    }
    
    public static void main(String[] args) throws Exception {
        CopyOracle2MySQL ins = new CopyOracle2MySQL();
        ins.startImport();
        
    }
}

 

相关文章:

  • Servlet线程安全的解决方法
  • php 多个文件上传
  • mysql单表体积和一个库设计多少张表为妥
  • 安装DPM 2012 R2时报错一例
  • 错误日志记录
  • 动态编译执行java类
  • 第三部分:Android 应用程序接口指南---第一节:应用程序组件---第三章3-3日历provider...
  • Android中的回调Callback
  • 组成_05_CPU
  • 组播地址列表
  • linux 关闭SSH 连接用户
  • 编程面试的10大算法概念汇总
  • solarwinds engineer's toolset   V9.1 安装 及注册机
  • 理解并取证:IPv6与IPv4在报文结构上的区别
  • hibernate 如何实现延迟加载
  • [微信小程序] 使用ES6特性Class后出现编译异常
  • 【跃迁之路】【463天】刻意练习系列222(2018.05.14)
  • Android组件 - 收藏集 - 掘金
  • Node 版本管理
  • python 学习笔记 - Queue Pipes,进程间通讯
  • python学习笔记-类对象的信息
  • React-redux的原理以及使用
  • 从 Android Sample ApiDemos 中学习 android.animation API 的用法
  • 开源SQL-on-Hadoop系统一览
  • 浅谈Golang中select的用法
  • 如何胜任知名企业的商业数据分析师?
  • 如何使用 OAuth 2.0 将 LinkedIn 集成入 iOS 应用
  • 基于django的视频点播网站开发-step3-注册登录功能 ...
  • 数据库巡检项
  • ​用户画像从0到100的构建思路
  • # 日期待t_最值得等的SUV奥迪Q9:空间比MPV还大,或搭4.0T,香
  • #{} 和 ${}区别
  • (3)nginx 配置(nginx.conf)
  • (iPhone/iPad开发)在UIWebView中自定义菜单栏
  • (pojstep1.1.2)2654(直叙式模拟)
  • (PWM呼吸灯)合泰开发板HT66F2390-----点灯大师
  • (层次遍历)104. 二叉树的最大深度
  • (第一天)包装对象、作用域、创建对象
  • (二)PySpark3:SparkSQL编程
  • (附源码)php投票系统 毕业设计 121500
  • (附源码)ssm航空客运订票系统 毕业设计 141612
  • (附源码)计算机毕业设计ssm电影分享网站
  • (力扣记录)1448. 统计二叉树中好节点的数目
  • (详细版)Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
  • (转)EXC_BREAKPOINT僵尸错误
  • (转)socket Aio demo
  • (最优化理论与方法)第二章最优化所需基础知识-第三节:重要凸集举例
  • .bat批处理(十一):替换字符串中包含百分号%的子串
  • .net 反编译_.net反编译的相关问题
  • .NET处理HTTP请求
  • @Pointcut 使用
  • @property括号内属性讲解
  • @Tag和@Operation标签失效问题。SpringDoc 2.2.0(OpenApi 3)和Spring Boot 3.1.1集成
  • [ABP实战开源项目]---ABP实时服务-通知系统.发布模式
  • [BSGS算法]纯水斐波那契数列