当前位置: 首页 > news >正文

Spark读取mysql数据

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

添加依赖:

<dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

            <version>5.1.6</version>

        </dependency>

读取mysql数据:

SparkSession spark = SparkSession

                  .builder()

                  .appName("Java Spark MYSQL basic example")             

                  .getOrCreate();

       

    String url = "jdbc:mysql://10.37.154.65:3306/cmallpre2";

    String table = "t_es_order";

    Properties connectionProperties = new Properties();

    connectionProperties.setProperty("dbtable", table);// 设置表

    connectionProperties.setProperty("user", "CMALLusr");// 设置用户名

    connectionProperties.setProperty("password", "PCy5VJYd1Ysn");// 设置密码

 

    // 一个条件表示一个分区

    String[] predicates = new String[] {

            "1=1 order by TABLE_ID limit 1,10",

            "1=1 order by TABLE_ID limit 20,30" };

    // 读取数据

    Dataset<Row> rows =spark.read().jdbc(url, table, predicates

                connectionProperties);

    //添加筛选条件

    Dataset<Row> filter = rows.filter(col("TABLE_ID").gt("10"));

    System.out.println("mysql count:" + filter.count());

    spark.close();

 

转载于:https://my.oschina.net/u/778683/blog/1828803

相关文章:

  • OPM数据泄露:生物识别可以信任吗?
  • notepad++添加Compare插件
  • Python新型字符串格式漏洞分析
  • SQL优化|Java面试题
  • RFID技术并非大企业专用技术
  • Spring Cloud微服务分布式云架构 - spring cloud集成项目
  • Web性能优化:What? Why? How?
  • 使用ConcurrentMap实现高效可靠的原子操作
  • 岂止于大:大数据这个词已经过时了
  • mysql基本命令
  • 雅虎发布开源Web应用安全扫描器Gryffin
  • 正则表达式小知识点
  • 史上最贵的12个域名 360排名第一
  • 记生产服务器频繁死机重大事故
  • 《认知设计:提升学习体验的艺术》——学习者的情境
  • 【comparator, comparable】小总结
  • 【跃迁之路】【463天】刻意练习系列222(2018.05.14)
  • Angular js 常用指令ng-if、ng-class、ng-option、ng-value、ng-click是如何使用的?
  • echarts的各种常用效果展示
  • JavaScript异步流程控制的前世今生
  • Java多态
  • spring + angular 实现导出excel
  • VUE es6技巧写法(持续更新中~~~)
  • Vue小说阅读器(仿追书神器)
  • 大整数乘法-表格法
  • 每个JavaScript开发人员应阅读的书【1】 - JavaScript: The Good Parts
  • 用Node EJS写一个爬虫脚本每天定时给心爱的她发一封暖心邮件
  • 掌握面试——弹出框的实现(一道题中包含布局/js设计模式)
  • 《TCP IP 详解卷1:协议》阅读笔记 - 第六章
  • 策略 : 一文教你成为人工智能(AI)领域专家
  • ​ArcGIS Pro 如何批量删除字段
  • ​iOS安全加固方法及实现
  • ​MySQL主从复制一致性检测
  • (ZT)出版业改革:该死的死,该生的生
  • (安卓)跳转应用市场APP详情页的方式
  • (附源码)springboot太原学院贫困生申请管理系统 毕业设计 101517
  • (四)linux文件内容查看
  • (转)eclipse内存溢出设置 -Xms212m -Xmx804m -XX:PermSize=250M -XX:MaxPermSize=356m
  • (转)jQuery 基础
  • .NET 将多个程序集合并成单一程序集的 4+3 种方法
  • .Net 中Partitioner static与dynamic的性能对比
  • .NETCORE 开发登录接口MFA谷歌多因子身份验证
  • .sh
  • /*在DataTable中更新、删除数据*/
  • @Controller和@RestController的区别?
  • [ C++ ] STL---string类的使用指南
  • [Android Studio 权威教程]断点调试和高级调试
  • [bzoj 3534][Sdoi2014] 重建
  • [CakePHP] 在Controller中使用Helper
  • [CQOI 2010]扑克牌
  • [leetcode]Search a 2D Matrix @ Python
  • [LeetCode]Spiral Matrix
  • [luogu P1527]矩阵乘法(矩形k小)
  • [Machine Learning] 领域适应和迁移学习
  • [PHP]实体类基类和序列化__sleep问题