当前位置： 首页 > news >正文

HADOOP 的 LZO 压缩 hadoop-lzo 编译

news 来源：原创 2024/5/3 13:54:33

HADOOP 支持 LZO 的 hadoop-lzo 编译

twitter 提供的 lzo 压缩的开源组件：hadoop-lzo

安装相关包

$ sudo yum install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

安装 LZO

$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

$ tar xzvf lzo-2.10.tar.gz

$ cd lzo-2.10

$ ./configure -prefix=/home/hadoop/local//lzo

$ make

$ make install

编译 hadoop-lzo 源码

下载源码

$ wget https://github.com/twitter/hadoop-lzo/archive/master.zip

解压缩

$ mv master.zip hadoop-lzo-master.zip

$ unzip hadoop-lzo-master.zip

$ cd hadoop-lzo-master

编译

$ mvn package -Dmaven.test.skip=true

得到 hadoop-lzo

在 target 下有编译好的 jar：

  • hadoop-lzo-0.4.21-SNAPSHOT.jar
  • hadoop-lzo-0.4.21-SNAPSHOT-javadoc.jar
  • hadoop-lzo-0.4.21-SNAPSHOT-sources.jar

这个 jar 包就可以放到 Hadoop 中去使用了。

相关文章：

  • 单调栈： 接雨水
  • 用C++11 make_shared替代shared_ptr
  • 数据结构之——栈的操作讲解与功能实现
  • 剑指 Offer II 079+080+081+082
  • 前端小tips（持续更新）
  • matlab读取文件
  • php __destruct反序列化原理
  • 通俗易懂，一文学会前端缓存
  • python常用基础笔记
  • centos设置root免密自动登陆
  • JuiceFS 在多云存储架构中的应用 | 深势科技分享
  • 【LeetCode】思维向题笔记总结（持续更新）
  • springboot+vue农产品销售配送网站
  • ISE的FPGA程序加载与固化——Omapl138/TMS320C6748＋FPGA核心板
  • SAP ABAP 定义事件以及处理事件
  • 【Leetcode】101. 对称二叉树
  • 【347天】每日项目总结系列085（2018.01.18）
  • Angular 2 DI - IoC DI - 1
  • JAVA并发编程--1.基础概念
  • leetcode388. Longest Absolute File Path
  • October CMS - 快速入门 9 Images And Galleries
  • spring + angular 实现导出excel
  • 多线程事务回滚
  • 基于Android乐音识别(2)
  • 马上搞懂 GeoJSON
  • 深度学习在携程攻略社区的应用
  • ​​​​​​​GitLab 之 GitLab-Runner 安装，配置与问题汇总
  • ​ssh免密码登录设置及问题总结
  • （C语言）二分查找 超详细
  • （C语言）求出1,2,5三个数不同个数组合为100的组合个数
  • （react踩过的坑）Antd Select（设置了labelInValue）在FormItem中initialValue的问题
  • （附源码）ssm本科教学合格评估管理系统 毕业设计 180916
  • （附源码）计算机毕业设计SSM基于健身房管理系统
  • （机器学习的矩阵）（向量、矩阵与多元线性回归）
  • （一）硬件制作--从零开始自制linux掌上电脑（F1C200S) ＜嵌入式项目＞
  • (原創) 如何動態建立二維陣列(多維陣列)? (.NET) (C#)
  • .Family_物联网
  • .gitignore文件---让git自动忽略指定文件
  • .net mvc 获取url中controller和action
  • .net 程序 换成 java,NET程序员如何转行为J2EE之java基础上（9）
  • .NET成年了，然后呢？
  • .NET的微型Web框架 Nancy
  • .NET分布式缓存Memcached从入门到实战
  • .net使用excel的cells对象没有value方法——学习.net的Excel工作表问题
  • .pyc文件是什么？
  • /bin/bash^M: bad interpreter: No such file or directory
  • @Autowired 与@Resource的区别
  • @autowired注解作用_Spring Boot进阶教程——注解大全（建议收藏！）
  • @cacheable 是否缓存成功_让我们来学习学习SpringCache分布式缓存，为什么用？
  • [ CTF ] WriteUp-2022年春秋杯网络安全联赛-冬季赛
  • [AIGC] MySQL存储引擎详解
  • [android] 练习PopupWindow实现对话框
  • [BIZ] - 1.金融交易系统特点
  • [CSS] - 修正IE6不支持position:fixed的bug
  • [DevEpxress]GridControl 显示Gif动画