币币情报道:
乔治华盛顿大学研究人员的一项新研究发现,对诸如ChatGPT这样的AI模型的礼貌不仅是浪费计算资源,而且毫无意义。
研究人员声称,在提示中添加“请”和“谢谢”对AI响应的质量具有“可忽略的影响”,这直接与早期的研究和标准用户实践相矛盾。
这项研究周一在Arxiv上发布,在OpenAI首席执行官Sam Altman发布几天后指出,用户在提示中输入“请”和“谢谢”的处理额外花费了“数千万美元”的令牌。
该论文与2024年日本研究结果相反,后者发现礼貌改善了AI的表现,尤其是在英语任务中。该研究测试了包括GPT-3.5、GPT-4、Palm-2和Claude-2在内的多个LLM,发现礼貌确实产生了可衡量的绩效益处。
当被问及差异时,大卫·阿科斯塔(David Acosta),AI驱动数据平台Arbo AI的首席AI官告诉解密,乔治华盛顿的模型可能太简单了,无法代表现实世界系统。
Acosta说:“它们不适用,因为培训本质上是每天实时进行的,并且在更复杂的LLM中对礼貌行为存在偏见。”
他补充说,虽然奉承可能会带您在LLM的某个地方,但“很快就会进行更正”将改变这种行为,从而使模型受到“请”和“谢谢”等短语的影响,而不管提示中使用的音调如何。
Acosta是道德AI和高级NLP的专家,他认为,提示工程学更多是简单的数学,尤其是考虑到AI模型比本研究中使用的简化版本要复杂得多。
他说:“对礼貌和人工智能表现的矛盾通常源于培训数据的文化差异,特定于任务的及时设计细微差别以及对礼貌的上下文解释,需要跨文化实验和调整任务的评估框架以阐明影响。”
GWU团队承认,与ChatGPT相比,他们的模型被“有意简化”,该系统使用了更复杂的多头注意机制。
他们建议他们的发现应在这些更复杂的系统上进行测试,尽管他们认为他们的理论仍然会随着注意力的数量增加而适用。
乔治·华盛顿的发现源于团队研究AI何时突然从连贯的内容崩溃到有问题的内容,他们称之为“ Jekyll-and-Hyde Tipping Point”。他们的发现表明,这个转折点完全取决于您提示中的AI培训和实质性词,而不是礼貌。
研究解释说:“我们的AI反应是否会失控取决于我们提供令牌嵌入的LLM培训,以及在我们的提示中的实质令牌,而不是我们是否对此有礼貌。”
由物理学家Neil Johnson和Frank Yingjie Huo领导的研究团队使用了简化的单一注意力头模型来分析LLMs的过程信息。
他们发现,礼貌的语言往往是“与实质性和坏输出令牌正交的”,“可忽略不计的点产品影响” - 意味着这些单词存在于模型内部空间的不同区域中,并且不会有意义地影响结果。
AI崩溃机制
GWU研究的核心是对AI如何以及何时突然恶化的数学解释。研究人员发现,由于“集体效应”的“集体效应”,该模型的注意力越来越薄弱,随着响应的时间越来越长,该模型越来越薄弱地传播了其注意力。
最终,它达到了一个阈值,模型的注意力“捕捉”在训练过程中所学到的潜在问题的内容模式。
换句话说,想象一下您的课程很长。最初,您清楚地掌握了概念,但是随着时间的流逝,您的注意力在所有累积的信息中越来越薄(讲座,蚊子经过,您的教授服装,班级结束了多少时间)。
在一个可预测的点(也许在90分钟内),您的大脑突然从理解到混乱。在这个临界点之后,无论教授对您的讲话有多礼貌或班级的趣味性,您的笔记都会充满误解。
随着时间的流逝,您的注意力自然稀释而发生了“崩溃”,而不是因为信息的提出方式。
研究人员说,从AI开始产生响应的那一刻起,研究人员将其标记为N*的数学转折点就被“硬连线”。这意味着最终的质量崩溃是预先确定的,即使它发生在生成过程中。
该研究提供了一个确切的公式,可以根据AI培训和用户提示的内容进行预测何时发生这种崩溃。
文化礼貌>数学
尽管有数学证据,但许多用户仍然与类似人类的礼貌进行AI相互作用。
根据最近的一个,近80%的来自美国和英国的用户对他们的AI聊天机器人很好。民意调查由出版商未来。无论技术发现如何,这种行为都可能持续存在人格化他们与之互动的系统。
厚的技术服务公司Wipro的企业技术总监告诉解密这种礼貌源于文化习惯,而不是表现期望。
莫塔说:“对我来说,对AI的礼貌似乎很自然。我来自一种文化,我们表现出对在我们生活中起重要作用的任何事物的尊重 - 无论是树,工具还是技术。”莫塔说:“我的笔记本电脑,我的电话,甚至是我的工作站……现在,我的AI工具。”
他补充说,虽然他没有“注意到结果的准确性有很大的差异”,但当他礼貌时,回答“在重要的时候会感到更加对话,礼貌,而且机械性也不那么机械。”
甚至Acosta也承认在处理AI系统时使用礼貌语言。
他说:“很有趣,我确实没有意图。” “我发现,在'对话'的最高水平,您也可以从AI中提取反向心理学,这是先进的。”
他指出,高级LLM经过训练可以像人类一样做出反应,并且像人们一样,“ AI旨在获得赞美”。
编辑塞巴斯蒂安·辛克莱(Sebastian Sinclair)和乔什·奎特纳(Josh Quittner)