当前位置： 首页 > news >正文

大数据技术概述

news 来源：原创 2024/9/20 9:31:54

4v特点

volume（体量大）
velocity（处理速度快）
variety（数据类型多）
value（价值密度低）

核心设计理念

并行化
规模经济
虚拟化
分布式系统满足需求

在这里插入图片描述

系统架构

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据处理流程

采集数据

在这里插入图片描述
结构化数据：可用二维表表示
非结构化数据：声音、图像、视频
半结构化数据：xml文档

  • 爬虫采集数据
    scrapy
    在这里插入图片描述

在这里插入图片描述

  • 感知设备数据采集
    在这里插入图片描述
    在这里插入图片描述
  • 分布式数据采集系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 系统架构
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 定向数据采集
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

  • 采集算法类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 网络数据采集

在这里插入图片描述
模型层：从数据库中获取相关的数据
控制层：负责处理用户的请求
视图层：负责把数据显示在页面上

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

处理数据

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 数据清洗
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
整个数据集来看是离群点；
从邻域来看是离群点；

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 数据集成
    在这里插入图片描述

在这里插入图片描述

  • 数据转换
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 数据归约

在这里插入图片描述

在这里插入图片描述

  • 数据处理任务
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据相关技术

在这里插入图片描述
2、分布式处理技术

在这里插入图片描述

大数据处理方法

在这里插入图片描述

  • 分类步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 聚类步骤
    在这里插入图片描述

在这里插入图片描述

  • 关联分析任务
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

OLAP(联机分析处理)
在这里插入图片描述

在这里插入图片描述

大数据计算框架

在这里插入图片描述
在这里插入图片描述

批处理系统

在这里插入图片描述
在这里插入图片描述

MapReduce处理过程

在这里插入图片描述
在这里插入图片描述

流处理系统

在这里插入图片描述
在这里插入图片描述

流处理模式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

混合处理系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

大数据应用框架

在这里插入图片描述

  • 通用大数据应用架构
    在这里插入图片描述
  • 混搭大数据应用架构

在这里插入图片描述

在这里插入图片描述

大数据框架技术

在这里插入图片描述
在这里插入图片描述

  • 日志收集器fluentd
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

数据挖掘技术

在这里插入图片描述

  • 学习类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • U盘常规数据恢复深度解析：原因、方案与预防策略
  • 文件包含PHP伪协议利用方法
  • c++(list)
  • CSS学习4[重点]
  • 原油市场“闪崩”，国际油价单日下跌超4%！
  • 一. 从Hive开始
  • 坑——fastjson将字符串转到带枚举的java对象
  • 【多线程】阻塞，忙等待，睡眠，挂起的简单理解，以及各自优缺点
  • Spring框架——springweb（一篇包会）
  • C#——XML序列化
  • 网络安全服务基础Windows--第9节-DNS部署与安全
  • 使用卫星仿真软件STK的一些应用和思考（星地链路、星间链路）
  • Java JVM 垃圾回收算法详解
  • JS基础学习笔记
  • JAVA毕业设计168—基于Java+Springboot+vue3的高校就业管理系统(源代码+数据库+14000字论文+开题+PPT)
  • 2017 前端面试准备 - 收藏集 - 掘金
  • CentOS7简单部署NFS
  • IP路由与转发
  • javascript 总结（常用工具类的封装）
  • Java反射-动态类加载和重新加载
  • magento2项目上线注意事项
  • node-sass 安装卡在 node scripts/install.js 解决办法
  • Protobuf3语言指南
  • socket.io+express实现聊天室的思考（三）
  • 前端面试之CSS3新特性
  • 扫描识别控件Dynamic Web TWAIN v12.2发布，改进SSL证书
  • 一加3T解锁OEM、刷入TWRP、第三方ROM以及ROOT
  • 原创：新手布局福音！微信小程序使用flex的一些基础样式属性（一）
  • media数据库操作，可以进行增删改查，实现回收站，隐私照片功能 SharedPreferences存储地址：
  • MyCAT水平分库
  • NLPIR智能语义技术让大数据挖掘更简单
  • ​Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型
  • ​虚拟化系列介绍（十）
  • ![CDATA[ ]] 是什么东东
  • #define，static，const，三种常量的区别
  • #我与Java虚拟机的故事#连载02：“小蓝”陪伴的日日夜夜
  • （11）MATLAB PCA+SVM 人脸识别
  • （2）关于RabbitMq 的 Topic Exchange 主题交换机
  • （35）远程识别(又称无人机识别)（二）
  • (AngularJS)Angular 控制器之间通信初探
  • (env: Windows,mp,1.06.2308310； lib: 3.2.4) uniapp微信小程序
  • （Redis使用系列） SpirngBoot中关于Redis的值的各种方式的存储与取出 三
  • (附源码)计算机毕业设计SSM保险客户管理系统
  • （亲测）设​置​m​y​e​c​l​i​p​s​e​打​开​默​认​工​作​空​间...
  • (区间dp) (经典例题) 石子合并
  • （四）图像的%2线性拉伸
  • (学习总结16)C++模版2
  • (转)VC++中ondraw在什么时候调用的
  • .apk 成为历史！
  • .axf 转化 .bin文件 的方法
  • .locked1、locked勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复
  • .NET 4.0网络开发入门之旅-- 我在“网” 中央（下）
  • .Net Memory Profiler的使用举例
  • .NET/C# 使窗口永不激活（No Activate 永不获得焦点）
  • .NET/C# 在 64 位进程中读取 32 位进程重定向后的注册表