Magma

Magma 概述

Magma 是一个多模态人工智能代理的基础模型，旨在处理虚拟和现实环境中的复杂交互。它是首个针对多模态AI代理设计的基础模型，具备强大的图像和视频理解能力，并能够生成以目标为导向的视觉计划和行动。Magma在多种多模态任务上都取得了尖端的性能，如用户界面导航、机器人操控以及图像和视频的空间理解与推理。同时，它采用可扩展的预训练策略，可以从大量未标记的现实视频中进行学习，增强了其在真实应用中的泛化能力。

使用场景

Magma 可广泛应用于以下几个场景：

1. 图像/视频相关的文本生成：可以根据输入的图像和文本生成描述或回答。

2. 视觉计划能力：能够生成未来任务的视觉轨迹指导，如将物体从一个地方移动到另一个地方。

3. 代理能力：可以生成用户界面交互（例如：点击“搜索”按钮）和机器人操作（例如：机器人手爪的七自由度控制）。

4. 下游任务：

   • 图像标注与问答：可进一步微调用于图像标注和问答任务。
   • 视频标注与问答：同样可以应用于视频的标注与问答，具有更好的时间理解能力。
   • 用户界面导航：可在特定的用户界面导航任务（如网页或移动端导航）中发挥作用，表现优越。
   • 机器人操控：由于其跨模态能力，Magma在机器人任务中表现良好，能够超越现有的最先进模型。

Magma 的设计旨在推动多模态 AI 领域的研究和应用，尤其是在多模态代理 Intelligence 方面。