浅谈Hadoop (r4笔记第81天)
大数据的概念炒了好多年了，很显然这项技术经受住了时间的考验，不是有些人想的那样华而不实，多年来总是伴随着Hadoop的身影越发壮大。这些年来数据的增长量真是发生了天翻地覆的变化，原来大家过年的时候都会很认真的拍一张全家福，恨不得把胶卷能够正反两用，多存点照片，现在好了，手机各类终端齐上阵，微博，微信，图片，小视频，所有的数据真是应有尽有。数据量上来了，数据的分析工作就显得尤为重要了。用现在很形象的一种描述就是，让数据说话。Hadoop的使命就是主要海量数据的存储和分析，也有两个核心的功能，一个是HDFS,一个就是MapReduce。怎么理解呢，HDFS就是Hadoop Distributed FileSystem, MapReduce是一个编程模型，所做的工作是map和reduce两部分，这些海量数据需要存储，这个很容易理解，那么什么是MapReduce呢？举一个简单的例子。我们存在一些文本数据，是关于pm2.5的。记录了每天的数据情况。内容如下：20150321 01 6020150321 06 5020150321 12 10020150320 01 20020150320 06 15020150320 12 16020150319 01 15020150319 06 20020150321 6020150321 5020150321 (100)20150320 (200)20150319 (200)