腾讯与德州大学达拉斯分校的研究团队携手合作，共同研发了一项创新项目，名为AppAgent。这个项目具有一项独特的功能，即通过自主学习和模仿人类的点击和滑动手势，实现在手机上执行各类任务。
在功能方面，AppAgent涵盖了在社交媒体上发帖、帮助用户撰写和发送邮件、使用地图导航、在线购物，甚至进行复杂的图像编辑等多个方面。为了验证其广泛的应用性，AppAgent在50个不同的任务上进行了详尽的测试，涵盖了10款各具特色的应用程序。
AppAgent的主要功能特点包括多模态代理、直观交互、自主学习和构建知识库。作为一个基于大型语言模型的多模态代理，AppAgent能够处理和理解多种类型的信息，这使得它具备理解复杂任务并能在各种不同的应用程序中执行这些任务的能力。
为了实现与智能手机应用程序的交互，AppAgent能够模仿人类的直观动作，仿佛它就是一个真实的用户。它通过观察和分析不同应用程序中的用户界面交互，从而实现自主学习并构建知识库。这个知识库记录了不同应用程序的操作方法和界面布局，为AppAgent在不同应用程序中执行任务提供了指导。这一创新项目无疑为智能手机用户提供了更为便捷和高效的操作体验。