突破数据瓶颈！交大研发电脑智能体，让 AI 替你熬夜做 PPT

发布时间：2024-12-24

点击次数：

上海交通大学gair实验室研发pc agent：让ai帮你完成深夜ppt制作

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

深夜需要准备第二天论文分享的PPT？有了上海交通大学GAIR实验室研发的PC Agent，你只需告诉它要点和保存位置，第二天就能看到一份制作精良的PPT。这项研究由三位研究者完成，共同第一作者为上海交通大学ACM班三年级本科生何彦衡和金嘉禾，指导老师为刘鹏飞副教授。GAIR实验室主要研究方向包括大模型复杂推理、数据工程、多模态大模型和智能体。实验室主页：https://www.php.cn/link/543817ed62fa34e371bb229d4f7b603f

PC Agent通过认知迁移方法，高效收集人类认知轨迹进行训练（而非API调用），实现了像人类一样操作电脑：阅读屏幕、控制键盘鼠标，完成数十步跨软件的复杂任务。这标志着AI真正开始为人类减负！

PC Agent能轻松完成大量重复性工作，例如为多位图灵奖得主制作海报：

它还能像Claude 3.5 Sonnet一样，完成“AI调用AI”的任务，例如自行创建网站：

论文信息：

论文标题：PC Agent: While You Sleep, AI Works - A Cognitive Journey into Digital World
论文地址：https://www.php.cn/link/190b12368f262b0aa584cd9101ecc07c
代码地址：https://www.php.cn/link/a4e56c27a3e2a2fc8ccd7d91a2945f90

挑战与突破：深度电脑理解与精准视觉定位

当前智能体电脑使用能力远逊于人类，主要挑战在于深度电脑理解认知和精准视觉定位能力。

1. 视觉定位：GUI交互的基础是精准定位屏幕元素（如按钮）。现有模型，包括GPT-4o，缺乏此能力。

2. 认知理解：模型缺乏对电脑使用的认知理解，包括细粒度的电脑操作知识（例如，在PowerPoint中添加标题需要先点击文本框再输入）和智能体导向的训练（长程任务中的上下文关注、决策和策略调整）。

认知迁移：AI从对话窗口到数字世界的关键

团队提出人类认知迁移方法，包括高效采集人机交互数据的轻量级工具PC Tracker，以及从原始交互数据重建人类认知的完整流水线。PC Tracker开源，旨在加速社区研究。

该方法首先采集人类电脑操作轨迹，然后用大模型重建人类认知，最终得到包含人类认知的交互轨迹（Cognitive trajectory）。通过模仿学习，AI不仅模仿动作，还学习背后的认知理解。

仅在133条认知轨迹上训练，PC Agent就能执行50步复杂任务，展现了方法的高效性。