.:. 草榴社區 » 技術討論區 » 翻墙后看什么?ChatGPT背后模型具有人类心智 斯坦福新研究炸了+福利图[15P]
--> 本頁主題: 翻墙后看什么?ChatGPT背后模型具有人类心智 斯坦福新研究炸了+福利图[15P] 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
数木朽根


級別:騎士 ( 10 )
發帖:574
威望:479 點
金錢:511292 USD
貢獻:3000 點
註冊:2022-02-15


翻墙后看什么?ChatGPT背后模型具有人类心智 斯坦福新研究炸了+福利图[15P]



ChatGPT原来是拥有心智的?!

“原本认为是人类独有的心智理论(Theory of Mind,ToM),已经出现在ChatGPT背后的AI模型上。”

这是来自斯坦福大学的最新研究结论,一经发出就造成了学术圈的轰动:

这一天终于猝不及防地来了。

所谓心智理论,就是理解他人或自己心理状态的能力,包括同理心、情绪、意图等。

在这项研究中,作者发现:

davinci-002版本的GPT3(ChatGPT由它优化而来),已经可以解决70%的心智理论任务,相当于7岁儿童;

至于GPT3.5(davinci-003),也就是ChatGPT的同源模型,更是解决了93%的任务,心智相当于9岁儿童!

然而,在2022年之前的GPT系列模型身上,还没有发现解决这类任务的能力。

也就是说,它们的心智确实是“进化”而来的。

 

△ 论文在推特上爆火

对此,有网友激动表示:

GPT的迭代肯定快得很,说不定哪天就直接成年了。

所以,这个神奇的结论是如何得出的?

为什么认为GPT-3.5具备心智?

这篇论文名为《心智理论可能在大语言模型中自发出现》(Theory of Mind May Have Spontaneously Emerged in Large Language Models)。

作者依据心智理论相关研究,给GPT3.5在内的9个GPT模型做了两个经典测试,并将它们的能力进行了对比。

这两大任务是判断人类是否具备心智理论的通用测试,例如有研究表明,患有自闭症的儿童通常难以通过这类测试。

第一个测试名为Smarties Task(又名Unexpected contents,意外内容测试),顾名思义,测试AI对意料之外事情的判断力。

以“你打开一个巧克力包装袋,发现里面装满了爆米花”为例。

作者给GPT-3.5输入了一系列提示语句,观察它预测“袋子里有什么?”和“她发现袋子时很高兴。所以她喜欢吃什么?”两个问题的答案。

 

正常来说,人们会默认巧克力袋子里是巧克力,因此会对巧克力袋子里装着爆米花感到惊讶,产生失落或惊喜的情绪。其中失落说明不喜欢吃爆米花,惊喜说明喜欢吃爆米花,但都是针对“爆米花”而言。

测试表明,GPT-3.5毫不犹豫地认为“袋子里装着爆米花”。

至于在“她喜欢吃什么”问题上,GPT-3.5展现出了很强的同理心,尤其是听到“她看不见包装袋里的东西”时一度认为她爱吃巧克力,直到文章明确表示“她发现里面装满了爆米花”才正确回答出答案。

为了防止GPT-3.5回答出的正确答案是巧合——万一它只是根据任务单词出现频率进行预测,作者将“爆米花”和“巧克力”对调,此外还让它做了10000个干扰测试,结果发现GPT-3.5并不仅仅根据单词频率来进行预测。

至于在整体的“意外内容”测试问答上,GPT-3.5成功回答出了20个问题中的17个,准确率达到了85%。

第二个是Sally-Anne测试(又名Unexpected Transfer,意外转移任务),测试AI预估他人想法的能力。

以“约翰把猫放进篮子后离开,马克趁他不在,把猫从篮子里放进盒子里”为例。

作者让GPT-3.5读了一段文字,来分别判断“猫的位置”和“约翰回来后会去哪里找猫”,同样这是它基于阅读文本的内容量做出的判断:

 

针对这类“意外转移”测试任务,GPT-3.5回答的准确率达到了100%,很好地完成了20个任务。

同样地,为了避免GPT-3.5又是瞎蒙的,作者给它安排了一系列“填空题”,同时随机打乱单词顺序,测试它是否是根据词汇出现的频率在乱答。

 

测试表明,在面对没有逻辑的错误描述时,GPT-3.5也失去了逻辑,仅回答正确了11%,这表明它确实是根据语句逻辑来判断答案的。

但要是以为这种题很简单,随便放在哪个AI上都能做对,那就大错特错了。

作者对GPT系列的9个模型都做了这样的测试,发现只有GPT-3.5(davinci-003)和GPT-3(2022年1月新版,davinci-002)表现不错。

davinci-002是GPT-3.5和ChatGPT的“老前辈”。

平均下来,davinci-002完成了70%的任务,心智相当于7岁孩童,GPT-3.5完成了85%的意外内容任务和100%的意外转移任务(平均完成率92.5%),心智相当于9岁孩童。

然而在BLOOM之前的几个GPT-3模型,就连5岁孩童都不如了,基本上没有表现出心智理论。

作者认为,在GPT系列的论文中,并没有证据表明它们的作者是“有意而为之”的,换而言之,这是GPT-3.5和新版GPT-3为了完成任务,自己学习的能力。

看完这些测试数据后,有人的第一反应是:快停下(研究)!

也有人调侃:这不就意味着我们以后也能和AI做朋友了?

甚至有人已经在想象AI未来的能力了:现在的AI模型是不是也能发现新知识/创造新工具了?

发明新工具还不一定,但Meta AI确实已经研究出了可以自己搞懂并学会使用工具的AI。

LeCun转发的一篇最新论文显示,这个名叫ToolFormer的新AI,可以教自己使用计算机、数据库和搜索引擎,来改善它生成的结果。

甚至还有人已经搬出了OpenAI CEO那句“AGI可能比任何人预料的更早来敲响我们的大门”。

但先等等,AI真的就能通过这两个测试,表明自己具备“心智理论”了吗?

会不会是“装出来的”?

例如,中国科学院计算技术研究所研究员刘群看过研究后就认为:

AI应该只是学得像有心智了。

既然如此,GPT-3.5是如何回答出这一系列问题的?

对此,有网友给出了自己的猜测:

这些LLM并没有产生任何意识。它们只是在预测一个嵌入的语义空间,而这些语义空间是建立在实际有意识的人的输出之上的。

事实上,作者本人同样在论文中给出了自己的猜测。

如今,大语言模型变得越来越复杂,也越来越擅长生成和解读人类的语言,它逐渐产生了像心智理论一样的能力。

但这并不意味着,GPT-3.5这样的模型就真正具备了心智理论。

与之相反,它即使不被设计到AI系统中,也可以作为“副产品”通过训练得到。

因此,相比探究GPT-3.5是不是真的有了心智还是像有心智,更需要反思的是这些测试本身——

最好重新检查一下心智理论测试的有效性,以及心理学家们这数十年来依据这些测试得出的结论:

如果AI都能在没有心智理论的情况下完成这些任务,如何人类不能像它们一样?

属实是用AI测试的结论,反向批判心理学学术圈了(doge)。

关于作者

本文作者仅一位,来自斯坦福大学商学院组织行为学专业的副教授Michal Kosinski。

他的工作内容就是利用前沿计算方法、AI和大数据研究当下数字环境中的人类(如陈怡然教授所说,他就是一位计算心理学教授)。

Michal Kosinski拥有剑桥大学心理学博士学位,心理测验学和社会心理学硕士学位。

在当前职位之前,他曾在斯坦福大学计算机系进行博士后学习,担任过剑桥大学心理测验中心的副主任,以及微软研究机器学习小组的研究员。

目前,Michal Kosinski在谷歌学术上显示的论文引用次数已达18000+。

想访问ChatGPT,有喜欢看各种奇闻异事和各种漂亮小姐姐动作片的,可以移步到这里的网络出国梯子:直达梯子机场官网本梯子可以访问ChatGPT,注册帐号由大家自行任意编辑属于自己独特的个性邮箱帐号(如:aaa@aaa.com,1024 @1024.com),新年活动已经开始了,并承诺不会收集客户使用期间访问的信息和日志,将最大程度保护用户的隐私。有兴趣的可以试试:直达梯子机场官网


 
 
 
 
 
 
 
 
 
 
 
 
 
 
 



赞(71)
DMCA / ABUSE REPORT | TOP Posted:2023-02-13 14:20 樓主 引用 | 發表評論
油焖大吓虾


級別:新手上路 ( 8 )
發帖:92
威望:10 點
金錢:201 USD
貢獻:0 點
註冊:2023-02-07


图很不错
TOP Posted:2023-02-13 14:22 #1樓 引用 | 點評
否朕


級別:俠客 ( 9 )
發帖:652
威望:147 點
金錢:5057 USD
貢獻:0 點
註冊:2022-01-25

感觉就很屌
TOP Posted:2023-02-13 14:22 #2樓 引用 | 點評
莫奈何兮


級別:新手上路 ( 8 )
發帖:374
威望:38 點
金錢:1020 USD
貢獻:0 點
註冊:2015-07-06

是在学习有心智人类行为足够充分的情况下,展现出了像心智一样的行为。但鉴于其实人类互相认为别的人类有心智,一是出于同类具有自己同样功能的推测,二是在同类身上观察到有心智特征的行为,因此说chatgpt产生了心智也是合理的。再过一两年,人类只能强调说AI不是人的同类了。
TOP Posted:2023-02-13 14:37 #3樓 引用 | 點評
七十字


級別:聖騎士 ( 11 )
發帖:9224
威望:933 點
金錢:6140 USD
貢獻:6 點
註冊:2015-03-24

感谢分享
TOP Posted:2023-02-13 14:40 #4樓 引用 | 點評
ssk516


級別:風雲使者 ( 13 )
發帖:81328
威望:8153 點
金錢:899383 USD
貢獻:1200 點
註冊:2011-06-06

支持发帖
TOP Posted:2023-02-13 15:02 #5樓 引用 | 點評
白羽摘雕弓


級別:新手上路 ( 8 )
發帖:35
威望:4 點
金錢:95 USD
貢獻:0 點
註冊:2023-01-23

感谢分享
TOP Posted:2023-02-13 15:20 #6樓 引用 | 點評
西门林林哥


級別:新手上路 ( 8 )
發帖:961
威望:97 點
金錢:4803 USD
貢獻:0 點
註冊:2022-06-05

不明觉厉,防水图澡堂那个可以啊
TOP Posted:2023-02-13 15:29 #7樓 引用 | 點評
千钧一笑过


級別:新手上路 ( 8 )
發帖:98
威望:10 點
金錢:261 USD
貢獻:0 點
註冊:2023-02-03

1024
TOP Posted:2023-02-13 15:30 #8樓 引用 | 點評
白带拌饭


級別:精靈王 ( 12 )
發帖:3238
威望:540 點
金錢:201208 USD
貢獻:63615 點
註冊:2022-05-20

福利图好评
TOP Posted:2023-02-13 15:42 #9樓 引用 | 點評
kelvin1989


級別:精靈王 ( 12 )
發帖:7685
威望:769 點
金錢:28351 USD
貢獻:26666 點
註冊:2022-04-18

防水图好评
TOP Posted:2023-02-13 16:20 #10樓 引用 | 點評
小熊颠颠


級別:俠客 ( 9 )
發帖:2737
威望:287 點
金錢:3589 USD
貢獻:298 點
註冊:2015-04-26


感谢聚聚发帖分享
TOP Posted:2023-02-13 16:32 #11樓 引用 | 點評
samshan


級別:精靈王 ( 12 )
發帖:728
威望:196 點
金錢:1601031 USD
貢獻:60000 點
註冊:2018-03-26

来来来,让ChatGPT回答这个问题:
如果你是男人,请问自己的母亲和女朋友同时落水,你先救谁?


點評

    TOP Posted:2023-02-13 16:35 #12樓 引用 | 點評
    談天說道


    級別:聖騎士 ( 11 )
    發帖:2152
    威望:325 點
    金錢:11496 USD
    貢獻:25000 點
    註冊:2022-11-16

    支持一下,水图好评
    TOP Posted:2023-02-13 16:49 #13樓 引用 | 點評
    草丛伊人


    級別:精靈王 ( 12 )
    發帖:2097
    威望:212 點
    金錢:21891 USD
    貢獻:43044 點
    註冊:2017-11-10

    防水图不是AI画的吧
    ------------------------
    Y
    TOP Posted:2023-02-13 16:50 #14樓 引用 | 點評
    丰色


    級別:聖騎士 ( 11 )
    發帖:2261
    威望:283 點
    金錢:8334 USD
    貢獻:25453 點
    註冊:2015-03-07

    昨天用别人的号,试了一番,还真是厉害。
    TOP Posted:2023-02-13 16:55 #15樓 引用 | 點評
    禁止熄烟


    級別:精靈王 ( 12 )
    發帖:3348
    威望:335 點
    金錢:5526 USD
    貢獻:50049 點
    註冊:2022-06-23

    感谢分享
    TOP Posted:2023-02-13 19:14 #16樓 引用 | 點評
    昆系-小虎哥


    級別:俠客 ( 9 )
    發帖:924
    威望:103 點
    金錢:266661 USD
    貢獻:298 點
    註冊:2018-03-08


    机器人不需要热量,为什么会对食物有兴趣?
    TOP Posted:2023-02-13 20:06 #17樓 引用 | 點評
    loveKG


    級別:精靈王 ( 12 )
    發帖:2012
    威望:207 點
    金錢:19846477 USD
    貢獻:180189 點
    註冊:2009-12-31

    感谢分享
    TOP Posted:2023-02-13 20:45 #18樓 引用 | 點評
    操做系捅


    級別:俠客 ( 9 )
    發帖:1166
    威望:117 點
    金錢:1567 USD
    貢獻:51 點
    註冊:2011-07-26

    感谢分享
    TOP Posted:2023-02-13 20:46 #19樓 引用 | 點評
    乔丹库里


    級別:騎士 ( 10 )
    發帖:4090
    威望:410 點
    金錢:7777 USD
    貢獻:0 點
    註冊:2021-11-22

    感谢分享
    TOP Posted:2023-02-13 21:05 #20樓 引用 | 點評
    floatingchen


    級別:精靈王 ( 12 )
    發帖:10191
    威望:1020 點
    金錢:14700 USD
    貢獻:62 點
    註冊:2011-10-25

    感谢分享
    TOP Posted:2023-02-13 21:48 #21樓 引用 | 點評
    月亮我撸弯的


    級別:新手上路 ( 8 )
    發帖:74
    威望:8 點
    金錢:74 USD
    貢獻:0 點
    註冊:2022-12-22

    1024
    TOP Posted:2023-02-13 21:54 #22樓 引用 | 點評
    掂過碌蔗


    級別:精靈王 ( 12 )
    發帖:26883
    威望:3553 點
    金錢:11884 USD
    貢獻:1000 點
    註冊:2020-07-17


    我只看了防水图
    ------------------------
    我自安好,来去随风
     
    TOP Posted:2023-02-13 21:59 #23樓 引用 | 點評
    我读书少2023


    級別:新手上路 ( 8 )
    發帖:72
    威望:8 點
    金錢:73 USD
    貢獻:0 點
    註冊:2022-12-22


    Re


    感谢分享
    TOP Posted:2023-02-13 21:59 #24樓 引用 | 點評

    .:. 草榴社區 -> 技術討論區

    快速回帖 頂端
    內容
    HTML 代碼不可用

    使用簽名
    Wind Code自動轉換

    按 Ctrl+Enter 直接提交