三十三、《大数据项目实战之用户行为分析》Spark SQL读写MySQL
本例讲解使用Spark SQL的JDBC API读取MySQL数据库中的表数据,并将DataFrame中的数据写入MySQL表中。Spark集群仍然使用Standalone模式。
具体操作步骤如下:
MySQL数据准备
在MySQL中新建一个用于测试的数据库spark_db,命令如下:
mysql> create database spark_db;
在该数据库中新建表student并添加3列,分别为id(学号)、name(姓名)、age(年龄),命令如下:
mysql> use spark_db;
mysql> create table student (id int, name varchar(20), age int);
向表student中插入3条测试数据,命令如下:
mysql> insert into student values(1,'zhangsan',23);
mysql> insert into student values(2,'lisi',19);
mysql> insert into student values(3,'wangwu',25