当前位置：首页 > news >正文

sqoop在Linux中环境搭建,sqoop搭建和运行小结

news 来源：原创 2024/5/2 2:15:05

一. 安装工具和操作系统：

macOs 4核8G brew 安装 postgresql

二. 安装sqoop

brew install sqoop

会自动安装hadoop hbase hive zookeeper sqoop

三. 启动

brew services start habse

brew services start zookeeper

四. 安装hadoop(先看注意事项，修改响应的配置文件然后再启动hadoop)

参考链接： http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html

注意：我目前brew 安装的最新版本是：hadoop 3.0.0

1. 默认安装目录/usr/local/Cellar/hadoop/3.0.0/libexec

cd /usr/local/Cellar/hadoop/3.0.0/libexec

cd etc/hadoop/ 里面放置的是配置文件

教程里面 hadoop-env.sh不用配置

2. 修改配置文件：

vim yarn-site.xml

如果按照教程里面配置会出现错误：找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

按照这个参考链接找到了答案：http://wenda.chinahadoop.cn/question/3069

需要再加入一个配置项：name:yarn.application.classpath

对应的值 value为执行hadoop classpath输出的结果

例如我的配置：注意版本和目录有可能不同，按照具体的输出修改

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.application.classpath

/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/common/lib/*:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/common/*:/usr/local/Cellar/hadoop/3.0.0/libexec/share/ hadoop/hdfs:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/hdfs/lib/*:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/hdfs/*:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/mapreduce/*:/usr/local/Cellar/hadoop/3.0.0/libexec/ share/hadoop/yarn:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/yarn/lib/*:/usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/yarn/*

3. 启动和重启

建议：每次删除掉/tmp/hadoop*

1. rm -rf /tmp/hadoop*

2. bin/hdfs namenode -format

每次重启或者首次启动都要执行，否则datanode可能无法启动

sbin/start-dfs.sh 启动dfs

sbin/start-yarn.sh

启动完成检验输入jps 获得如下输出表示没有问题，否则要检查各个步骤和报错，直到启动完毕，方可继续进行

五. 配置sqoop

1. 配置sqoop的环境变量(这一步灰常重要，官方文档里面貌似没有详细说明，我也是根据报错摸索的)

默认安装位置是：

cd /usr/local/Cellar/sqoop/1.4.6/libexec

vim conf/sqoop-env.sh

添加如下配置：根据具体版本和安装目录做调整

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home"

export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0.0/libexec"

export HBASE_HOME="/usr/local/Cellar/hbase/1.2.6"

export HIVE_HOME="usr/local/Cellar/hive/2.3.1"

export ZOOCFGDIR="/usr/local/etc/zookeeper"

五. 测试

brew 默认把sqoop添加进入环境变量的

输入：sqoop version 会出现sqoop的版本号，warning里面一些组建的环境变量没有配置，暂时用不到不用管

6. 导出( 从hdfs导出到postgresql)

(1)先上传一个文件到hdfs

vim student.txt

内容如下：

1,Ace

2,zeus

3,tom

4,john

hadoop fs -put student.txt /user/test

/user/test目录是我搭建hadoop之后在hdfs上创建的目录

上传之后查看一下：hadoop fs -ls -R /user/test

(2)创建表这里使用的是postgresql数据库

(3) 下载jdbc的jar包

我使用的是postgresql所以下载postgresql的jar包，大家可以根据响应的数据库类型下载相应的jdbc包

下载地址：https://jdbc.postgresql.org/download/postgresql-9.3-1101.jdbc41.jar

移动到/usr/local/Cellar/sqoop/1.4.6/libexec/lib目录下。根据版本修改路径

(4)运行

sqoop export --connect jdbc:postgresql://localhost:5432/test --username test --password newpass --table stud1 -m 1 --export-dir /user/test/student.txt

数据库密码别忘了修改

(5)结果