首页 > 业界 > 关键词  > AI助手最新资讯  > 正文

AI助手Moemate:让大模型“阅读” 你电脑屏幕上的内容

2023-08-19 10:42 · 稿源:站长之家

站长之家(ChinaZ.com)8月19日 消息:Moemate 是一款应用程序,它可以让大型语言模型(包括 Anthropic 的 Claude 和 GPT-4)“阅读” 你电脑屏幕上的内容。

Moemate 是一款运行在 macOS、Windows 和 Linux 设备上的助手,以动漫风格的化身形式呈现,旨在为用户提供并朗读他们所提出的任何问题的最佳答案。

image.png

体验地址:https://www.moemate.io/

与其他聊天机器人相比,Moemate 的特点在于它可以直接查看屏幕上发生的事情。然而,给这样的软件访问你所看到和做的一切的权限,即使在最好的情况下,也存在相当大的风险。

Moemate 提供了强大的自定义功能,用户可以自定义化身的动画、合成语音和回答。此外,用户还可以构建自定义角色模型并导入,以及导出可供其他 Moemate 用户导入和使用的化身格式。Moemate 的 “个性” 由选择的文本生成模型驱动,而合成语音可以选择 ElevenLabs、Microsoft Azure 或 Moemate 自己的文本到语音引擎。

Moemate 通过为每个化身提供一个简介来 “根据地” 所选的文本生成模型,并试图防止其偏离轨道。化身的简介可以从头开始编写和编辑。Moemate 还提供了一些面向 Twitch 的功能,如将聊天窗口置于焦点和显示频道订阅者人数。

Moemate 的屏幕捕获功能可以让它看到并分析你的屏幕内容。无论选择哪个文本生成模型,Moemate 都可以回答关于屏幕上处于焦点的窗口的问题。虽然系统并不完美,但用户可以使用 Moemate 总结食谱和网页,获取复杂主题的概要,甚至在游戏中提供建议。

然而,Moemate 的效果有时不尽人意。它无法准确预测自己将关注的内容,有时会引用背景窗口的内容,有时则完全无法看到窗口的内容。此外,Moemate 有时会偏离主题,给出奇怪的回答。有些内置命令也有问题,如调节语音音量只能调节应用内音量而非整个系统音量。

尽管存在问题,Moemate 仍然有吸引力。多模态分析(结合文本、图像和其他媒体分析)显然具有强大的功能,尤其是在运行在 PC 上的助手的情况下。未来的助手可能会类似 Moemate,结合屏幕理解和文本生成模型,从而提高工作效率。Moemate 给我们展示了未来的一瞥,尽管还有很多问题,但仍然引人入胜。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: