处理hadoop发送的文件到后台并解析存储到数据库策略
处理hadoop发送的文件到后台并解析存储到数据库策略
主要实现 ：首先 hadoop mapreduce 处理好的 文件，一个个 放到指定的文件 目录下 ，然后 通过 在Linux 下 通过定时任务 打包 发到 web 服务器的 指定 目录下 ，然后web 服务器 会 通过定时任务 去解析 它 ，然后，存储导数据库。
1.上篇 介绍了 文件 的 解压 ，通过解压后 文件 会形成 多个 文件 。
如图 ，解压 后 ，我们 会 发现 有 很多 文件 ，然后 我们该 去 对每个文件 读取 内容 并 存到数据库中。
2. map 为所有文件 解析类
dataMap 所 有 数据 类 所有文件的 数据都存储到datamap 中了
for (File subfile : subFiles){
AbstractFileParser ifp = map.get(subfile.getName());
if (ifp != null) {
try {
ifp = ifp.getClass().newInstance();
ifp.init(subfile, (StatMap) dataMap.get(subfile.getName()));
jobList.add(ifp);
ifp.start();
} catch (Exception e) { e.printStackTrace(); }
}
}
for (Thread ifp : jobList)
{
try {
ifp.join();
} catch (InterruptedException e) { e.printStackTrace(); }
}
AbstractFileParser 类
BufferedReader bufferedReader = null;
try
{
bufferedReader = new BufferedReader(new FileReader(this.file));
String s = null;
while ((s = bufferedReader.readLine()) != null)
{
if (isDebug || logger.isDebugEnabled())
logger.debug(s);
String[] ss = s.split(",");
StatBase o = parseLine(ss);
if (o != null)
{
StatBase b = null;
synchronized (map)
{
b = map.get(o.getPrivateKey());
if (b == null)
{
map.put(o.getPrivateKey(), o);
}
else
{
update(o, b);
}
}
}
}
}
catch (Exception e)
{
logger.error("", e);
}
finally
{
if (bufferedReader != null)
try
{
bufferedReader.close();
}
catch (IOException e)
{
}
}
保存到 datamap 中的 数据 要进行 数据库保存
捐助开发者
在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。 当然，有钱捧个钱场（右上角的爱心标志，支持支付宝和PayPal捐助），没钱捧个人场，谢谢各位。
谢谢您的赞助，我会做的更好！