cdh sqoop 配置_Navigator 配置定期删除管理元数据
一、概述
Navigator Metadata Server维护的元数据量在持续增长的情况下，不仅影响正常索引的效率，也会影响搜索结果的速度和显示数据的时间。此外，老的元数据可能会显示不再存在的关系，或者由于系统处理无关的详细信息，显示的血统可能需要更长的时间。而当使用一段时间Navigator 在MySQL中的存储数据暴增会导致MySQL线程死锁。
Cloudera Navigator的清除功能会删除已删除文件或早于指定时间范围的操作的元数据。只有包含目录也被删除时，才会清除已删除文件的元数据。另外，在将Cloudera Navigator升级到新版本之前，清除元数据可以加快升级过程，并减少出现内存不足错误。在进行元数据清除时，会停止提取数据和其他的Navigator作业，这时用户无法使用 Cloudera Navigator。
二、环境准备
CDH版本：6.3.3
操作系统：Cent0S7.6
三、配置元数据定时清除
3.1 登录Cloudera Navigator
3.2 查看已有的时间表
依次点击Administration，Purge Settings
这里显示元数据和血统的清除计划，包括即将进行清除的5个计划列表和2个(最多显示五个)最近完成的清除计划
3.3 更改现有的时间表
点击Edit，进行清除参数的配置
我们可以根据需求去配置相应的时间限制
等待清除数据结束
3.3 相关参数说明
| 选项 | 默认值 | 用法说明及范围 |
| How often | Weekly | 不可配置，根据指定配置的时间进行清除，默认处于开启状态 |
| Day Saturday | Saturday | 选择对生产影响最小的清除日 |
| Time | 12 Midnight | 从午夜 12 点到晚上 11 点，选择对生产影响最小的时间 |
| Maximum purge duration | 12 hours | 设置要允许清除过程运行的时间量。如果尚未完成，HDFS 清除过程不会在指定持续时间后添加任何要清除的新项。清除到该点的实体将保持清除状态。所有非 HDFS 清除进程都将无限制地运行。如果设置为 0，则清除将被禁用 |
| Purge HDFS entities deleted more than* | 60 days | 删除实体后经过的天数，直到清除过程删除其元数据。例如，设置为 1 天清除两天前删除但保留昨天删除的实体的设置 |
| Purge SELECT operations* | Enabled | Hive 和 Impala SELECT 操作比"仅清除SELECT"操作中指定的天数要长，而要清除的天数要大于清除日期 |
| Purge operations older than* | 60 days | 将清除比指定日期还旧的纱线、Sqoop 和 Pig 操作。如果启用了"Purge SELECT Operations"，则还将清除比指定日期还旧的 Hive 和 Impala SELECT 操作 |
四、参考文献
https://docs.cloudera.com/documentation/enterprise/latest/topics/cn_admin_menu_purge.html#setup-purge-schedule