当前位置: 首页 > news >正文

3D生成技术再创新高:VAST发布Tripo 2.0,提升AI 3D生成新高度

随着《黑神话·悟空》的爆火,3D游戏背后的AI 3D生成技术也逐渐受到更多的关注。虽然3D大模型的热度相较于语言模型和视频生成技术稍逊一筹,但全球的3D大模型玩家们却从未放慢脚步。无论是a16z支持的Yellow,还是李飞飞创立的World Labs,3D大模型的迭代速度一直在稳步前进。近日,国内3D大模型的领军者VAST发布了最新版本的大模型——Tripo 2.0。这个基于千万级高质量原生数据库训练的超强模型支持文字、单图、多图输入,并在几何精细度和图像还原度上表现出色。

Tripo 2.0的生成速度极为惊人。首先,它可以在几秒钟内生成几何预览,接着迅速生成纹理和PBR材质,将模型的细节展现得一览无遗。无论是复杂的卡通人物、怪物,还是精细纹理的物品,Tripo 2.0都能够轻松应对。在短短几秒内生成的3D模型,其细节和质量甚至比肩传统人工建模师需要数小时才能完成的成果。

Tripo 2.0的技术突破

VAST团队通过一系列技术创新大幅提升了3D模型生成的效率和质量。Tripo 2.0采用了DiT和U-Net的混合架构,既能够捕捉3D结构的全局上下文,又能够保留局部特征的精细度,使得生成的效果更加细腻。此外,Tripo 2.0利用了最先进的流模型与蒸馏算法,在不牺牲生成质量的前提下,显著提升了效率。无论是生成形状的准确性、材质的精度,还是整体细节的表现,Tripo 2.0都达到了一个全新的高度。

Tripo 2.0的一大亮点在于其高可控性。用户可以通过多模态输入生成3D模型,并能够通过负向prompt控制模型内容的生成。除此之外,用户还可以调整输出模型的姿态和比例,甚至可以选择模型的姿势,如“A-pose”或“T-pose”,这大大提升了模型生成的灵活性和适用性。

Tripo 2.0文生3D模型实测

先来一波文生3D效果的实测。首先生成的是“动漫少女的半身形象”,在复杂结构的生成上,细节十分丰富:

接下来,我们为其添加皮肤。在不超过20秒的时间内,模型获得了精细的纹理和层次感,人工建模可能需要成百上千倍的时间才能达到这个水平。

换个题目,我们尝试生成卡通形象的全身形象——卡通小矮人。结果相当可爱(配上宋丹丹式的笑声)

还生成了一个带有复杂细节的小怪物。即便放大模型并360度旋转查看,依然没有发现bug和瑕疵。对于人工建模师而言,怪物背后的尖刺细节本是个噩梦,但对Tripo来说毫无压力。

进一步加大难度,Tripo依旧能完美驾驭复杂的3D模型生成任务,其透视结构理解能力十分出色。

最后我们生成了一个购物车,这样的复杂任务对Tripo来说也毫无难度。

Tripo 2.0图生3D模型实测

再来看一波图生3D的效果。

图生3D模型的生成算法特别考验对图片空间信息的理解和还原度。我们横向对比了一些市场上的其他玩家,发现Tripo 2.0在几何形状的还原度和完整度上表现尤为突出。

测试完植物后,我们尝试了无生命物体的图生模型。比如一个复活节彩蛋的图片,Tripo 2.0生成的3D模型浮雕感最强,纹理细节也是最精致的。

通过多次测试,发现Tripo 2.0不仅在生成质量上脱颖而出,其高度可控性也是一大特点。

比如生成的PBR材质具有⾼保真度,保留了原图表⾯属性和视觉效果:

再比如,不管侧面、背面,每个面都能捕捉复杂的原图特征:

Tripo 2.0不仅生成质量让人眼前一亮,更高的可控性也是一大特点。

输入不仅支持多模态,当选择文生3D模型模式时,还支持输入负向prompt(就是不让生成模型中带有什么元素)。

对输出模型姿态的控制性也很绝。

既能自定义所生成3D模型头、腿、手臂等比例。

还能“A-pose”“T-pose”两个姿势随便选,秒秒钟设定大长腿:

生成好的3D模型还可以一键绑定骨骼、风格化。

3D模型人拥有自己的乐高!

更多玩法大家可以慢慢探索,欢迎大家评论区共创~

VAST的技术积累

VAST自2022年成立以来,已在3D生成技术领域取得了多项突破。Tripo 1.0发布后短短半年内,全球用户生成的3D模型就已超过500万个,远超全球前三大3D模型数据库的总和。如今Tripo 2.0问世,进一步巩固了VAST在3D生成AI领域的领先地位。

VAST的技术团队在学术界同样表现亮眼,多次在Siggraph、CVPR、ICLR等顶级会议上发表研究成果,进一步展示了其在全球3D生成AI领域的影响力。

3D生成技术的未来展望

VAST的目标是打造大众级别的3D内容创作工具,建立3D的UGC内容平台,让3D空间成为用户体验、内容表达、和生产力提升的关键要素。VAST的创始团队拥有深厚的商汤背景,创始人兼CEO宋亚宸和CTO梁鼎都在AI领域有着丰富的经验。

自成立以来,VAST动作频频。年初,VAST亮相了首个3D大模型Tripo 1.0,而仅仅几个月后,他们又与Stability AI合作推出了TripoSR,进一步提升了生成速度和质量。现在,Tripo 2.0已经上线并可在线使用,凭借3D Scaling Law带来的效能提升,Tripo更新周期仅9个月。

3D建模经典之「牛油果扶手椅」,Tripo 1.0生成​

今年3月初,VAST又联合Stable Diffusion背后的Stability AI,共同推出了开源的3D基础模型TripoSR。

因其能够达成“0.5秒完成单图生成3D模型”的成就,在3D生成领域的开源届广受欢迎,至今GitHub上揽星4.3k。

现在,Tripo 2.0又问世了,已经在线可玩。

得益于3D Scaling Law带来的效果提升,Tripo的这三次更新时间跨度仅仅有9个月。

而且有速度也有质量,效果在业内外颇受认可。

拿一则新消息来佐证一下:不久前,世界最大在线游戏开发平台Roblox官宣入局AI 3D生成,但截至目前,Tripo都是Roblox玩家最风靡的3D建模的趁手工具。

VAST未来将持续推动3D生成式AI的技术边界,不断探索3D Scaling Law的研究模型,并进一步提升3D生成模型的质量和扩展能力。我们期待3D生成领域迎来自己的“ChatGPT时刻”。

随着3D生成技术的快速发展,AI在这条赛道上展现了巨大潜力。未来,随着更多技术突破,3D生成或将成为AI领域的下一个焦点。

ChatGPT-4o需要请关注并私信我哦!!!

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 鸿蒙OpenHarmony【小型系统基础内核(物理内存管理)】子系统开发
  • 23中设计模式,以及三种常见的设计模式demo
  • 【C++】C++库:如何链接外部库、静态链接和动态链接,以及如何自建库并使用
  • 这些主流的销售管理系统,能够有效提升客户管理效率!
  • Python范例总结
  • Nginx 限流实战教程和技巧
  • Apache Airflow如何使用
  • 如何在算家云搭建text-generation-webui(文本生成)
  • uniapp中<map>地图怎么实现点位聚合?
  • 【Qwen2-VL】通义多模态新作速读
  • 创建游戏暂停菜单
  • 力扣(leetcode)每日一题 LCR 187 破冰游戏(还是考的约瑟夫环)
  • UWA支持鸿蒙HarmonyOS NEXT
  • 【Spring】条件装配 @ConditionalOnClass @ConditionalOnBean
  • 【Midjourney中文版】智能绘画,高效便捷
  • (三)从jvm层面了解线程的启动和停止
  • 【347天】每日项目总结系列085(2018.01.18)
  • Angular js 常用指令ng-if、ng-class、ng-option、ng-value、ng-click是如何使用的?
  • FastReport在线报表设计器工作原理
  • HashMap ConcurrentHashMap
  • javascript从右向左截取指定位数字符的3种方法
  • javascript数组去重/查找/插入/删除
  • LeetCode29.两数相除 JavaScript
  • maya建模与骨骼动画快速实现人工鱼
  • 浮动相关
  • 规范化安全开发 KOA 手脚架
  • ------- 计算机网络基础
  • 简单数学运算程序(不定期更新)
  • 王永庆:技术创新改变教育未来
  • 鱼骨图 - 如何绘制?
  • Spring Batch JSON 支持
  • 函数计算新功能-----支持C#函数
  • ​【已解决】npm install​卡主不动的情况
  • ​七周四次课(5月9日)iptables filter表案例、iptables nat表应用
  • ​数据链路层——流量控制可靠传输机制 ​
  • # 日期待t_最值得等的SUV奥迪Q9:空间比MPV还大,或搭4.0T,香
  • #laravel 通过手动安装依赖PHPExcel#
  • (13)Hive调优——动态分区导致的小文件问题
  • (32位汇编 五)mov/add/sub/and/or/xor/not
  • (9)STL算法之逆转旋转
  • (八)Docker网络跨主机通讯vxlan和vlan
  • (翻译)terry crowley: 写给程序员
  • (分布式缓存)Redis哨兵
  • (附源码)计算机毕业设计ssm高校《大学语文》课程作业在线管理系统
  • (入门自用)--C++--抽象类--多态原理--虚表--1020
  • (一)十分简易快速 自己训练样本 opencv级联haar分类器 车牌识别
  • (转)利用ant在Mac 下自动化打包签名Android程序
  • (转)使用VMware vSphere标准交换机设置网络连接
  • (转载)Linux 多线程条件变量同步
  • (转载)OpenStack Hacker养成指南
  • ***检测工具之RKHunter AIDE
  • .Net - 类的介绍
  • .NET Compact Framework 多线程环境下的UI异步刷新
  • .NET MVC第五章、模型绑定获取表单数据
  • .NET 跨平台图形库 SkiaSharp 基础应用