当前位置: 首页 > news >正文

详解大数据、数据存储和边缘计算技术在元宇宙中的应用

df8f26a1672718ddced8ba619c9d2b2c.gif

c89986f1555f4ed8cc2421c62249c4b6.png

导读:如果未来的数字社会属于元宇宙,那么我们需要什么来支撑如此庞大的数字世界?

93f1d0814f4c29f15dbf8f0e3d79d12b.png

作者:成生辉

来源:大数据DT(ID:hzdashuju)

010d4bd7966b9fd3d813cea56f26a8fe.png

元宇宙是指与物理世界分离的平行数字世界,由人创造并以数字形式对其进行操作。每个进入元界的人都会形成一个数据文件,随着社会活动的产生,数据会不断增长,从而形成一个大数据网络。

可以肯定的是,元宇宙一旦开发应用,将产生海量数据,给现实世界带来巨大的数据处理压力。因此,大数据处理技术是顺利实现元宇宙的关键技术之一。

01 元宇宙中的大数据

大数据是组织收集的结构化数据(例如交易和财务数据)、半结构化数据(例如Web服务器日志和来自传感器的流数据)和非结构化数据(例如文本、文档和多媒体数据)的组合,可以利用大数据挖掘信息并用于机器学习项目及构建预测建模(见图2.7)。

0f577c617be0df2758dd2f4232a4d9bb.png

▲图2.7 大数据类型

大数据是信息技术和计算机技术持续发展的产物。它为人们提供了一种可量化的认知世界的方式,称得上是一次重大的科技进步。

2009 年,谷歌公司的工程师根据用户的搜索数据成功预测了甲型 H1N1 流感在全球范围的流行,该预测结果甚至早于美国公共卫生官员的判断。谷歌公司对流行病的预测并不需要大规模实地检测,而是利用每天数十亿次用户的网络搜索数据得出了上述预测结果。这便是谷歌公司基于大数据的分析技术为社会生活提供支持的一个典型应用案例。

根据实际操作流程和技术的演进,大数据分析可大致分为四部分。首先是对数据的预处理,包括收集、存储、清洗和整合。之后,可以使用统计学方法得到一些数据特征的描述。为了发掘数据隐含的更深层次的价值,可进一步采用数据挖掘技术(初级的机器学习技术),以及人工智能技术(高级的机器学习技术)。

可以预见的是,在元宇宙世界中,会有更多高质量的数据用于机器学习,并促进大数据技术继续发展和革新。

在现实世界中,人的时间、劳动力和成本的问题很容易被元宇宙中的人工智能所取代。例如在现实世界中,人们必须经过很多流程才可以播放新闻,例如招聘播音员,在工作室拍摄,以及剪辑视频,最后在电视上播放。

然而在元宇宙中,利用人工智能播音员,可以快速、持续、长时间地传递紧急和重要的新闻。为了在元宇宙中播放新闻,真实播音员的面部表情、肌肉运动、声音、细微差别和手势都是可以被用来学习的有效数据。存储在区块链块中的元数据就可以选择性地提供必要的高质量数据。

元宇宙中的创意活动往往是用人工智能而非真人来开发的。人工智能艺术家在创作作品时,会了解作品的趋势和风格,然后使用所学来进行创作。过去,大量的数据被用于风格分析。现在,人工智能艺术家将数据存储在分布式账本中,以便可以轻松选择和重复使用。获取更多数据并反复练习,可以减少选择错误数据的概率。

02 元宇宙中的数据存储

元宇宙是一个需要大量数据和服务器容量的虚拟 3D 环境。但是通过中央服务器进行控制会产生昂贵的成本,目前最适合元界的数据存储工具无疑是分布式存储。

与传统应用平台的集中管理相比,元宇宙网络部署在区块链上,采用分布式存储处理数据。所有数据由各个节点维护和管理,可以降低集中存储带来的数据丢失、篡改或数据泄露的风险,且可以满足元宇宙对海量数据存储的高要求。

例如,基于分布式存储的GDFS(GoodData File System)将区块链技术与IPFS相结合(见图2.8),通过多次数据备份,就近分配存储资源,保证数据存储的可靠性、可用性和永续性。

131b4bf05a47739ff94a15398c67ac15.png

▲图2.8 区块链技术与IPFS结合

GDFS作为一个社区驱动的去中心化系统,建立了完善的激励机制,对存储提供者进行奖励,对造假者进行惩戒,有效地协调了存储用户、存储资源提供者、元数据管理者和协调者之间的关系。

此外,在元宇宙中,数据也将作为个人资产返回给数据生产者。在数据隐私保护中,这一步往往需要隐私计算技术的支持。目前,常见的隐私计算技术包括安全多方计算、联邦学习、差分隐私等。一些隐私计算项目已经实现,例如GoodData区块链。GoodData是一个关于数据安全、数据共享、数据资本化的区块链平台。

目前GoodData的主要功能是鼓励用户在平台上分享元宇宙中的数据(如睡眠数据),以协助医疗等研究机构通过数据研究失眠等健康问题。用户可以共享个人的睡眠数据,而作为数据所有者,用户可以持续获得代币收益。

在当今技术饱和的世界中,有数百万台设备通过互联网收集和共享信息。大多数信息在大型数据存储中心进行处理。大多数公司的云服务器位于遥远的地方,导致效率极低。为了处理更大体量的数据,边缘计算应运而生。该技术可以解决企业在传统云计算平台上存在的问题。

03 边缘计算

边缘计算(edge computing)是一种计算策略,它使计算能力和存储更靠近数据源,而不是将数据传输到遥远的中央服务器(见图2.9)。如今,许多企业将数据作为其运营的命脉,同时也面临着数据量不断增加的挑战。传统的基于云的平台是计算数据的标准途径。

45d416721f58e567f40699bd8f46ba71.png

▲图2.9 云计算和边缘计算

边缘计算是一种分散式运算的架构,将应用模式、数据资料与服务的运算由网络中心节点移到网络逻辑上的边缘节点来处理。边缘计算将原本完全由中心节点处理的大型服务加以分解,切割成更小及更容易管理的部分,分散到边缘节点去处理。

边缘节点更接近于用户的终端装置,可以加快资料的处理与传送速度,减少延迟。在这种架构下,资料的分析与知识的产生更接近于数据资料的来源,因此更适合处理大数据。

顾名思义,边缘计算在边缘上工作。一切都发生在大部分数据传输发生的网络边缘,而不是将原始数据传输到数据中心进行处理和分析。边缘计算将存储和计算资源转移到产生大量数据的地方。不同类型的设备可以在边缘附近执行数据分析。

在这个“边缘”,数据被排序、分析和修改。这种技术将有助于提高业务效率并减少不必要的成本,它还可以减少网络延迟。

在处理大量数据方面,边缘计算被视为云计算的一种更有效的替代方案。传统的云计算能够非常有效地处理单个数据单元,但是它无法容纳跨数据中心的大量数据,并且中央服务器产生有意义且实时结果的能力很差。未来,更多的人工智能设备将使用边缘计算而不是云计算。

人工智能和云计算都是IT界的热词,两种技术相得益彰。人工智能传统上存在于由云计算提供支持的数据中心内,但随着时间的推移,该技术慢慢进入物联网领域和互联智能设备世界。需求的增长使公司每天必须处理的数据增加了一倍或三倍以上。

科技公司意识到需要升级计算能力并使数据中心更接近最终用户,以减少延迟和其他网络效率低下的情况。这一认识促使业界开始将人工智能和边缘计算结合到设备中,以期减少延迟,同时最大限度地减少带宽消耗和运营成本。

以在Google Assistant 上运行的智能扬声器为例。该设备通常配备了边缘计算和人工智能功能的组合,这使独立的处理和分析呈现出几乎即时的结果。它还使设备能够运行离线命令。

关于作者:成生辉,博士,西湖大学西湖学者,现任智能可视化实验室负责人。他于纽约州立大学石溪分校获得计算机科学博士学位,并在德国莱比锡大学医学研究所、布鲁克海文国家实验室和美国哈佛医学院进行研究,曾任世界银行(总部)数字经济组顾问。他的主要研究方向为数据可视化、可视分析和元宇宙等。

本文摘编自《元宇宙:概念、技术及生态》(ISBN:978-7-111-70354-9),经出版方授权发布。

634bfeddbdb074bb5bac89b0222c6db8.png

延伸阅读《元宇宙:概念、技术及生态》

点击上图了解及购买

转载请联系微信:DoctorData

推荐语:西湖大学西湖学者执笔,多位专家推荐,带你走出元宇宙概念迷雾,了解新兴技术发展趋势,盘点巨头新赛道布局,构建虚拟世界完整生态。本书着重于介绍可以让元宇宙概念落地的技术集群,所涉包括区块链技术、交互技术、数字孪生、人工智能技术、物联网技术、5G网络技术、云计算和边缘计算技术等。

7f59965f91d528e8e1c8a31a713af11c.gif

31e4e121b663887716b07ad7469d75a4.png

扫码关注【华章计算机】视频号

每天来听华章哥讲书

9bc7adfe83e74fe22139b4eeb803d98e.gif

更多精彩回顾

资讯 |《Java核心技术》基于Java 17全面升级!

干货 |再见了Java8,Java17:我要取代你

资讯 | Java核心技术大会2022 · 重磅发布

书单 |今天,Java27岁了!

新书 | 红蓝攻防:构建实战化网络安全防御体系

书讯 |6月书讯(上)| 浅夏读新书,与世间万物一起成长

书讯 |6月书讯(下)| 人机物三元融合,开启新世界大门

每周赠书 | 【第108期】技术大牛都在看的10本书,找到了

f0569c35cdc5c5105be34317555e159e.gif

425aa6aa7a1f12ae265ce748324c2985.gif

点击阅读全文购买

相关文章:

  • 【Java核心技术大会 PPT分享】李三红:面向云原生现代化Java实践与演进
  • 【Java核心技术大会 PPT分享】李智慧:Java异步编程框架实践与性能优化
  • 7月书讯 | 12本新书如期而至!
  • 【第109期】4种 Redis 集群方案介绍+优缺点对比
  • 【Java核心技术大会 PPT分享】余洲:基于Smart Connect的跨地域数据复制
  • 这几年爆火的智能物联网(AIoT),到底前景如何?
  • 【Java核心技术大会 PPT分享】张家驹:云原生时代的Java — Quarkus及其最新进展...
  • 云计算发展的 4 个阶段,终于有人讲明白了
  • 【Java核心技术大会 PPT分享】陈阳:深入理解 Java 虚拟机编译原理
  • 学习 CSAPP 对工作有帮助吗?一切从底层逻辑开始!
  • 【Java核心技术大会 PPT分享】林子熠:GraalVM的静态编译和静态分析技术
  • 2022大数据十大关键词,重磅发布!
  • 第110期:成为架构师的路上,必看的经典好书
  • 用户运营方法论:解析不同时期的拉新策略
  • 运维数据治理,构筑智能运维的基石
  • 【Leetcode】101. 对称二叉树
  • “大数据应用场景”之隔壁老王(连载四)
  • 0x05 Python数据分析,Anaconda八斩刀
  • Docker入门(二) - Dockerfile
  • Git 使用集
  • input实现文字超出省略号功能
  • iOS 系统授权开发
  • LeetCode算法系列_0891_子序列宽度之和
  • MD5加密原理解析及OC版原理实现
  • MySQL-事务管理(基础)
  • PermissionScope Swift4 兼容问题
  • Python代码面试必读 - Data Structures and Algorithms in Python
  • Spring声明式事务管理之一:五大属性分析
  • sublime配置文件
  • 猫头鹰的深夜翻译:JDK9 NotNullOrElse方法
  • 软件开发学习的5大技巧,你知道吗?
  • 树莓派 - 使用须知
  • 写代码的正确姿势
  • 正则表达式
  • PostgreSQL之连接数修改
  • ​第20课 在Android Native开发中加入新的C++类
  • #include<初见C语言之指针(5)>
  • #NOIP 2014# day.1 T2 联合权值
  • #我与Java虚拟机的故事#连载10: 如何在阿里、腾讯、百度、及字节跳动等公司面试中脱颖而出...
  • (16)UiBot:智能化软件机器人(以头歌抓取课程数据为例)
  • (C#)if (this == null)?你在逗我,this 怎么可能为 null!用 IL 编译和反编译看穿一切
  • (实战篇)如何缓存数据
  • (转贴)用VML开发工作流设计器 UCML.NET工作流管理系统
  • .NET/C# 在 64 位进程中读取 32 位进程重定向后的注册表
  • .net实现头像缩放截取功能 -----转载自accp教程网
  • .net下简单快捷的数值高低位切换
  • .net用HTML开发怎么调试,如何使用ASP.NET MVC在调试中查看控制器生成的html?
  • @angular/cli项目构建--http(2)
  • [Android]常见的数据传递方式
  • [AutoSar]BSW_Com02 PDU详解
  • [C/C++] C/C++中数字与字符串之间的转换
  • [C++]模板与STL简介
  • [ERROR]-Error: failure: repodata/filelists.xml.gz from addons: [Errno 256] No more mirrors to try.
  • [excel与dict] python 读取excel内容并放入字典、将字典内容写入 excel文件
  • [HDU 3555] Bomb [数位DP]