Niantic利用Meta Llama让数字生物栩栩如生
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
自90年代以来，虚拟宠物从简单的数字玩具发展到能够进行逼真互动的复杂伴侣。而Niantic凭借其开创性的增强现实（AR）游戏如《精灵宝可梦GO》，通过其最新的移动AR冒险游戏《Peridot》将虚拟宠物提升到了一个新的高度。
Peridot：首款使用生成式AI的AR游戏
《Peridot》是一款首创的AR游戏，利用生成式AI创建了一个充满逼真宠物的虚拟世界。为了驱动Peridot的虚拟世界，Niantic集成了Meta Llama 2，将其可爱的生物“Dots”变成了具有智能行为的AR宠物，这些宠物现在能够模拟真实动物的不可预测性。Llama 2实时生成每个Dot的反应，使每次互动都充满动态和独特性。
“利用像Llama这样的LLMs（大型语言模型），我们可以让生成式AI以有意义和现实的方式驱动Peridot的游戏玩法，”Niantic的全球市场负责人Asim Ahmed说道。“而不是手动编程一系列有限的反应，我们使用Llama 2来帮助确定生物可能的反应，并从我们庞大的动画库中选择适当的回应。”
通过开源增强沉浸式体验
Niantic致力于打造成为玩家日常生活一部分的游戏。Peridot团队意识到玩家希望与他们的Dots有更沉浸的体验，这促使他们探索能够促进更深连接并增强陪伴感的新技术。Niantic选择利用LLMs，因为它们能够从当前环境中“学习”并一致地响应提示。通过使用像Llama 2这样的开源模型，Niantic显著加快了开发过程，使Peridot团队可以跳过繁琐的审批流程，立即开始创建。
随着Peridot变得越来越复杂和互动性增强，Niantic的工程师们需要一个系统来处理生物和玩家之间的动态互动，以加深参与度并增强游戏与环境的互动。Llama的开源方法让Niantic团队能够快速在自己的环境中进行原型设计和迭代，优先考虑数据隐私。Llama的框架还提供了更多的灵活性，使Niantic能够增强其生成式AI能力，并在不到三个月的时间内为玩家加快推出新的沉浸式功能。
“我们期待看到更多的模型开源，使像我们这样的团队能够自由探索它们的能力，而不必在探索初期陷入关于成本、隐私和云依赖的讨论中，”Ahmed说道。
让Peridot变得更智能
Niantic最初在2023年11月将Llama 2集成到Peridot中，使Dots能够适当地对其环境做出反应。Peridot团队希望探索在其AR识别系统和庞大的生物动画库的同时使用通用对话LLM，而无需对LLM本身进行微调。在实施Llama时，团队优先考虑创意和响应时间，而不过分复杂化他们的一次性提示。他们在创建一个具有足够表现力和创意的提示以适应选定生物的反应时遇到了挑战，并确保这些反应保持一致格式。由于这些生物充满独特的个性特征，他们有可能在一次性提示中向Llama提供过多信息，从而减慢响应时间。
在获得游戏社区的广泛成功和积极反馈后，这项技术的应用也随之演变。Niantic团队进一步利用Llama 2的能力，让玩家能够与他们的Dots进行“对话”，创造更个性化的游戏体验。
Llama的最新集成使每个Dot能够表现出不可预测和令人惊讶的行为，而不是依赖于一组预定的动作。无论Dot表现出喜悦、好奇还是恶作剧，每个由AI驱动的回应都带来一种有机的真实感，使玩家在与虚拟生物互动时更为兴奋。
Niantic使用先进的计算机视觉算法将玩家摄像头的物理世界图像转换为准确的3D模型。这项技术让Dots能够与周围环境互动。利用Niantic的Lightship ARDK，Dots能够识别诸如花朵、食物和宠物等物体。这些观察结果随后由定制版Llama 2处理，考虑每个Dot的独特特征，如个性和历史，以确定这些虚拟生物可能对其发现做出的反应。
由于玩家现在可以通过语音识别或文本输入任何命令，除了Llama的提示响应之外，还需要考虑增加的延迟。Peridot团队需要与Llama合作，以创建能够理解玩家输入和附加信息（包括生物的饥饿状态、注意力状态和场景中检测到的物体）的持续反应。他们通过在JSON中定义预期响应格式来解决这个问题，从而立即提高了LLM响应的质量。
“我们惊讶地发现，通过提示Llama，我们可以创造出不可预测的行为，”Ahmed补充道。“对于虚拟宠物来说，这确实为我们的角色注入了生命。我们看到了一系列广泛的机会，可以以不同的方式利用Llama来更程序化地推动新的游戏领域。”
更加可爱的未来
通过摆脱静态算法并拥抱AI驱动的自发性，Peridot的虚拟宠物现在可以提供以前无法想象的体验。例如，如果玩家问他们的Dot是否想去散步，生物可能会通过兴奋地旋转来表示他们准备好了。
“Peridot在生成式AI方面的成功让我们看到了未来的可能性，我们计划提升玩家在不同设备上与Peridot互动的方式，”Ahmed说道。“我们很高兴能继续突破Peridot和Llama的边界，真正让这些生物在我们的世界中以新的有趣的方式栩栩如生。”