其一、懂Hadoop的不懂银行业务、懂银行业务的人不会用hadoop;

其二、既懂银行业务又会用Hadoop的人正在忙着做项目;

其三、hadoop技术的新颖性,导致大部分人不懂如何应用,更不要说应用到传统守旧的银行业务中去了。


整个专题的整体结构初步构思包括以下几个部分:


困局:传统银行业务面临的问题分析。

思考:出路在哪里?


为什么选择Hadoop?

Hadoop在银行业务中的应用之HDFS.

Hadoop在银行业务中的应用之Map/Reduce.

Hadoop在银行业务中的应用之HBase.

Hadoop应用之高可以用性HA.


一、银行业务特点分析

 银行业务系统从技术角度进行划分,一般分为前端系统、前置系统、核心系统、报表系统和后台营运管理系统。前端系统提供交互操作,为银行业务相关人员提供操作管理界面;前置系统是介于前端系统外部系统和核心系统之间的中间业务逻辑层;核心系统负责用户、账户、交易、凭证等核心数据的管理;报表系统提供银行引用报告的生成和管理;后台营运管理系统为整个银行业务系统提供参数管理、用户管理和权限管理等相关配置信息的维护。其中、前置系统和核心系统是银行业务系统的灵魂,银行业务系统的核心设计理念是小核心大外围,这里的大外围指的就是前置系统。前置系统产生大量的与外部系统进行交互的通讯日志,是事后追溯的根本;核心系统存储大量的用户历史交易信息,是银行业务的核心。

二、面临的挑战

 随着银行业务系统运行时间的增加和业务规模的扩展,银行业务系统面临着新的挑战,挑战主要来自于以下几个方面:

 (1)数据的安全性:业务系统运行过程中产生的各种数据,必须满足高可用性,无论是主机的宕机还是硬盘的损坏,必须保证数据的可用性。传统的文件备份模式、磁带机模式越来越不能满足业务的需求。

 (2)历史交易数据的存储:银行规模的扩大,必然导致历史交易数据的几何倍数式增加,客户历史交易数据的存储,采用传统的RDMS关系型数据显得捉襟见肘,无论是分区、还是分表还是历史库都面临着严峻的考验。

 (3)业务数据应用和分析:银行业务产生的各种数据,对于银行业务的扩展有着非常重要的意义,但是大量的数据面前,如何处理分散存储的数据,如何在大量的数据中找到自己关注的参数,快速的得到结论,单靠传统的方式已经难以完成。


基于上文中提到的诸多问题,引发了我们深深的思考,究竟有没有一种技术可以满足我们的需要,解决当前我们面临的诸多问题:

 一、解决数据高可用性问题;

 二、解决海量数据分析的性能问题;

 三、解决交易历史数据的海量存储问题;