当前位置: 首页 > news >正文

oracle,mongodb数据处理相关

任务一:将项目运行日志进行自动备份,处理后放入mongodb中。

难点:字符串切割,日期时间格式处理,linux定时任务

过程:日志处理无外乎将有效字段从非结构化的日志文本中截取出来,抽取有效信息供下一步分析使用。本项目中的日志信息其实已经相当结构化了,字符串切割里面的问题主要是一行数据切割一次无法完整的获取所有信息,需要用不同的切割方式再进行获取。

在处理切割得到的字符串时间时,遇到了一些小问题。01/Jan/2018:01:14:42 ,这个格式的文本时间,直接用simpledateformat对象按照(“yyyy/MMM/dd:HH:mm:ss”)处理时会产生异常。

Exception in thread "main" java.text.ParseException: Unparseable date: "01/Jan/2018:01:14:42 "

问题主要出现在Jan这个月份上,网上查到的资料显示这样的英文月份按照“MMM”的格式是可以解析的,但是很多博客忽略了地区位置信息,这就导致了以上异常的发生。

因此在处理此时间格式时,应该显式明确地区。SimpleDateFormat("yyyy/MMM/dd:HH:mm:ss", Locale.US);这样才会按照“MMM”去解析英文月份。

由于备份工作要长期定时运行在服务器上,每天定时处理前一天的日志。故笔者选择使用maven写了个小工程,这样既可以简化打包过程,也适合做定时任务。

在做linux定时任务时,参考了https://blog.csdn.net/nvnnv/article/details/52355681这篇博客,博主讲的比较详细了。所以问题也迎刃而解。

任务二:oracle数据定时备份到mongodb

由于项目原因,数据主要存储在oracle数据库中,老师希望定时将此部分数据存入mongodb中方便分析。

此过程中遇到的小问题是在maven打包的时候。使用assembly打包插件进行带依赖的打包。

mvn assembly:assembly,在打包过程中出现错误

Failed to execute goal on project ReadOracle: Could not resolve dependencies for project ReadOracle:ReadOracle:jar:1.0-SNAPSHOT: Failure to find com.oracle:ojdbc6:jar:11.2.0.1.
0 in https://repo.maven.apache.org/maven2 was cached in the local repository

问题显示的相当清楚,是由于ojdbc6:jar无法找到的原因,网上查到是由于甲骨文公司对ojdbc的授权问题,导致maven中心仓库没有此相关的jar包。因此需要使用本地jar文件打包,

但是笔者使用的是本地搭建的nexus服务器,应该不存在此问题。查了许多资料,也没有明白到底是什么原因。

最后在https://blog.csdn.net/viktoria/article/details/77503266 解决了问题,依然不是很清楚为什么。待之后深入了解maven打包过程。

完。

转载于:https://www.cnblogs.com/hikikomori/p/9040304.html

相关文章:

  • 把SVN库,作为git服务器
  • Kali之aircrack-ng
  • Android 面试2018最新最全
  • js中添加node.js语法支持
  • 理解CAS算法在JAVA中的作用
  • 单体架构,SOA架构,微服务架构,分布式架构,集群架构
  • SqlServer查询出数据库中所有的表及其字段属性
  • 排除网络故障课后习题参考答案
  • Java并发(零)教程目录
  • 大数据盛宴!帆软成功举办东北及华南地区大数据巡展
  • 微软宣布公开预览其内容分发网络
  • 03、漫游用户
  • 57. Netty源代码分析-服务器端启动ServerBootstrap初始化
  • 玩转云企业网(上):为什么需要云企业网
  • Google Photos上线一年 照片存储达13.7PB
  • 分享一款快速APP功能测试工具
  • 【399天】跃迁之路——程序员高效学习方法论探索系列(实验阶段156-2018.03.11)...
  • 【前端学习】-粗谈选择器
  • CSS中外联样式表代表的含义
  • Idea+maven+scala构建包并在spark on yarn 运行
  • Java读取Properties文件的六种方法
  • java中具有继承关系的类及其对象初始化顺序
  • KMP算法及优化
  • Mocha测试初探
  • overflow: hidden IE7无效
  • Perseus-BERT——业内性能极致优化的BERT训练方案
  • sublime配置文件
  • vuex 笔记整理
  • zookeeper系列(七)实战分布式命名服务
  • 第十八天-企业应用架构模式-基本模式
  • 对象管理器(defineProperty)学习笔记
  • 利用DataURL技术在网页上显示图片
  • 聊聊hikari连接池的leakDetectionThreshold
  • 浅谈Kotlin实战篇之自定义View图片圆角简单应用(一)
  • 浅析微信支付:申请退款、退款回调接口、查询退款
  • 实现菜单下拉伸展折叠效果demo
  • 使用 Node.js 的 nodemailer 模块发送邮件(支持 QQ、163 等、支持附件)
  • 协程
  • # 达梦数据库知识点
  • (Oracle)SQL优化技巧(一):分页查询
  • (安全基本功)磁盘MBR,分区表,活动分区,引导扇区。。。详解与区别
  • (博弈 sg入门)kiki's game -- hdu -- 2147
  • (顶刊)一个基于分类代理模型的超多目标优化算法
  • (附源码)ssm跨平台教学系统 毕业设计 280843
  • (附源码)计算机毕业设计SSM智能化管理的仓库管理
  • (规划)24届春招和25届暑假实习路线准备规划
  • (免费领源码)Java#Springboot#mysql农产品销售管理系统47627-计算机毕业设计项目选题推荐
  • (顺序)容器的好伴侣 --- 容器适配器
  • (转)【Hibernate总结系列】使用举例
  • (转)四层和七层负载均衡的区别
  • .Net 路由处理厉害了
  • .NET/ASP.NETMVC 大型站点架构设计—迁移Model元数据设置项(自定义元数据提供程序)...
  • .NET企业级应用架构设计系列之开场白
  • .Net中的设计模式——Factory Method模式
  • ::什么意思