Salesforce与南加州大学的研究人员共同开发了一项名为 CoAct-1 的突破性技术，旨在通过结合编码和图形用户界面（GUI）操作的优势，显著提升AI代理在计算机上执行复杂任务的能力。这一混合方法旨在克服传统GUI代理的脆弱性，为更强大、可扩展的自动化铺平道路。
传统AI代理的痛点:长任务与误点击
现有的计算机AI代理通常依赖视觉语言模型（VLM）来感知屏幕并模拟鼠标键盘操作。虽然这类“点击式”代理能执行各种任务，但在面对办公生产力套件等具有密集菜单和复杂工作流程的应用时，它们往往表现不佳。研究人员指出，在这些场景中，单一的误点击或对UI元素的误解，都可能导致整个任务失败。
为了应对这一挑战，研究人员曾尝试利用高级规划器来增强GUI代理，但这种方法依然无法解决那些通过几行代码就能更直接、更可靠地完成的操作。
CoAct-1:一个多智能体协作的混合系统
为解决这些限制，CoAct-1系统应运而生。其核心理念是“将GUI操作的直观优势与通过代码直接进行系统交互的精确性、可靠性和效率相结合”。该系统由一个由三个专门代理组成的团队协作完成任务:
编排器（Orchestrator）:作为中央规划器，它负责将用户的总体目标分解为子任务，并分配给最合适的代理。
程序员（Programmer）:负责编写和执行Python或Bash脚本，处理文件管理或数据处理等后端操作。
GUI 操作员（GUI Operator）:基于VLM，专门处理需要点击按钮或导航界面的前端任务。
这种动态委托机制使得CoAct-1能够策略性地绕过低效的GUI操作，转而采用更稳健、更高效的代码执行，同时保留视觉交互的必要性。整个工作流程是迭代的，每个代理完成子任务后都会向编排器汇报，由其决定下一步行动。
性能飞跃:更快、更高效
研究人员在 OSWorld 基准测试上对CoAct-1进行了测试，该基准包含了369个跨浏览器、IDE和办公应用程序的实际任务。结果显示，CoAct-1取得了 60.76%的成功率，树立了新的最高水平。
尤其是在操作系统级任务和多应用程序工作流中，CoAct-1的性能提升最为显著。更重要的是，该系统的效率也大幅提高，平均只需 10.15步 即可完成任务，远少于其他领先的纯GUI代理所需的15.22步。研究人员指出，更少的步骤不仅能加快任务完成速度，还能最大限度地减少出错的机会，从而实现更高效、更可靠的自动化。
从实验室走向企业:潜在的应用与挑战
这项技术拥有巨大的企业应用潜力。Salesforce应用AI研究总监 Ran Xu 指出，客户支持、销售勘探、自动化簿记和营销活动管理等领域都是完美的用例。在这些场景中，企业需要处理有API和无API的多种工具，而CoAct-1能够灵活利用代码和屏幕，提供全面的自动化解决方案。
然而，将CoAct-1从实验室推向企业环境也面临挑战，包括应对遗留软件、确保安全性和人工监督的必要性。徐强调，需要通过在沙盒环境中训练来提高代理的适应性，并建立强大的访问控制和安全护栏，以防止恶意代码执行。最终，在可预见的未来，“人在环”（human-in-the-loop） 的模式将是确保代理安全、可靠运行的关键。