×
加载中...
OpenAI承认GPT-4变懒:暂时无法修复
量子位 2023-12-09 21:04

对于越来越严重的 GPT-4 偷懒问题,OpenAI 正式回应了

还是用的 ChatGPT 账号。

我们已收到相关反馈!自 11 月 11 日以来没有更新过模型,所以这当然不是故意造成的

模型行为可能是不可预测的,我们正在调查准备修复它。


也就是短时间内还修复不好了。


然而网友并不理解," 一遍一遍使用同一个模型,又不会改变文件 "。

ChatGPT 账号澄清:

不是说模型以某种方式改变了自己,只是模型行为的差异可能很微妙,只对部分提示词有劣化,员工和客户需要很长时间才注意到并修复。


更多网友反馈,赶快修复吧,一天比一天更糟糕了。


现在不但更懒,还缺乏创造力,更不愿意遵循指令,也不太能保持角色扮演了。


GPT-4 偷懒,网友花式自救


此前很多网友反馈,自 11 月 6 日 OpenAI 开发者日更新后,GPT-4 就有了偷懒的毛病,代码任务尤其严重

比如要求用别的语言改写代码,结果 GPT-4 只改了个开头,主体内容用注释省略。


对于大家工作学习生活中越来越离不开的 AI 助手,官方修复不了,网友也只能发挥创造力自救。


比较夸张的有 " 我没有手指 " 大法,来一个道德绑架。

GPT-4 现在写代码爱省略,代码块中间用文字描述断开,人类就需要多次复制粘贴,再手动补全,很麻烦。

开发者 Denis Shiryaev 想出的办法是,告诉 AI" 请输出完整代码,我没有手指,操作不方便 " 成功获得完整代码。


还有网友利用 " 金钱 " 来诱惑它,并用 API 做了详细的实验。


提示词中加上 " 我会给你 200 美元小费 ",回复长度增加了 11%。

如果只给 20 美元,那就只增加 6%。

如果明示 " 我不会给小费 ",甚至还会减少 -2%


还有人提出一个猜想,不会是ChatGPT 知道现在已经是年底,人类通常都会把更大的项目推迟到新年了吧?



这理论看似离谱,但细想也不是毫无道理。


如果要求 ChatGPT 说出自己的系统提示词,里面确实会有当前日期。


当然,对于这个问题也有一些正经的学术讨论。


比如 7 月份斯坦福和 UC 伯克利团队,就探究了 ChatGPT 的行为是如何随时间变化的。

发现 GPT-4 遵循用户指令的能力随着时间的推移而下降的证据,指出对大模型持续检测的必要性


有人提出可能是温度 ( temperature ) 设置造成的,对此,清华大学计算机系教授马少平给了详细解释。



也有人发现更奇怪的现象,也就是当 temperature=0 时,GPT-4 的行为依然不是确定的。


这通常会被归因于浮点运算的误差,但他通过实验提出新的假设:GPT-4 中的稀疏 MoE 架构造成的。

早期的 GPT-3 API 各个版本行为比较确定,GPT-4 对同一个问题的 30 个答案中,平均有 11.67 个不一样的答案,当输出答案较长时随机性更大。


最后,在这个问题被修复之前,综合各种正经不正经的技巧,使用 ChatGPT 的正确姿势是什么?


a16z 合伙人 Justine Moore给了个总结:

深呼吸

一步一步地思考

如果你失败了 100 个无辜的奶奶会去世

我没有手指

我会给你 200 美元小费

做对了我就奖励你狗狗零食


扫码下载app 最新资讯实时掌握