大数据技术基础
一、大数据平台
1.大数据平台方案步骤：
①市场上有哪些大数据平台
②硬件、系统、业务增长等方面
③方案是否通过
通过后：按照一期目标投入
先虚拟环境部署联系，再实际部署
《大数据架构介绍》《Hadoop架构解析》《Hadoop集群规划》
《Hadoop安装部署》，《实验：Hadoop集群搭建》
《Hadoop核心组件-HDFS》，《实验：HDFS查看元数据》《高可用HDFS》
十分的事情，完成十二分！！！比预期完成的更好
因为需求、业务需求，所以上大数据
2.数据库管理员 (DBA) 是指负责维护、保护和运营数据库，确保正确存储和检索数据的专业人员。
3.大数据：大量、多样、快速、价值密度低的数据
4.传统服务器架构：单机、主备、主从-----数据之间需要同步，例如：一人一本完整的书，得复印十本书
现有服务器架构：分片式架构，将数据分散在多个节点，多个节点合成一个数据，例如：查找一本书中的页数，每10页分给一个人，合起来，就是页码数
二、主流大数据平台---Hadoop
1.Hadoop常用组件：
2.结构
主节点：领导，从节点：员工
3.版本
一版本无Yarn,只能通过MapReduce进行资源管理和数据处理，只有一个leader
二版本好处：以下三个好处 ---加入了yarn，有两个leader
4.运行模式
三、集群-----不是某一个人的任务，而是一群人的任务
集群考虑：组件分配、硬件、虚拟化和节点配置等；