- A+
AI到底有没有用?这是在过去半年的生成式AI浪潮里,人们抛出最多的疑问。
9月18日,哈佛大学、麻省理工学院学者和波士顿咨询(BCG)联合进行的一项研究给出了答案:答案是肯定的,AI能让打工人效率、质量双双大增!
先说结论,BCG的测试结果表明,在18项不同的任务中,使用ChatGPT的咨询顾问的表现,远远优于不使用ChatGPT的咨询顾问。
平均来看,与未使用人工智能的咨询顾问相比,使用人工智能的顾问平均多完成12.2%的任务,完成任务的速度快25.1%,成果质量高40%。
01咨询顾问「效率飞跃」
实验过程是这样的:
首先,让BCG团队的人类咨询顾问,围绕一家虚构的鞋履制造商设置各种任务。
任务包含创意任务(针对服务不足的市场或运动,提出至少10个新鞋的想法),分析任务(根据受众对鞋履市场进行细分),写作和营销任务(针对某个产品起草营销文案),以及说服力任务(写一份备忘录,提醒员工为什么本公司产品优于竞争对手)。
值得一提的是,虽然这家公司是虚构的,但任务场景是BCG咨询顾问的真实工作场景。研究团队还专门向某鞋履品牌高管进行了核实,确保这些任务是公司在日常运营中会碰到的真实工作。
在设置好任务之后,研究者找来了几百位BBG咨询顾问,随机选出一部分咨询顾问,让他们使用GPT-4来工作。
结果,使用了AI的咨询顾问普遍表现好得多。他们完成任务耗时更短,在限定时间内完成的任务更多,研究者还找来了人类和AI为这些咨询顾问的工作成果打分,结果二者都认为,使用了AI的咨询顾问,工作成果更出色。
研究者还注意到一个有趣的现象:那些技能水平最低的咨询顾问,通过使用AI,业绩表现的提升幅度也最大,高达43%。而最优秀的咨询顾问得到的提升幅度则很小。
研究者指出,这一点可能会给职场带来深远影响:
就像过去矿工挖石头的能力是好是坏很重要……但蒸汽铲被发明出来以后,挖掘能力的差异已经不再重要。
AI的影响还没有达到这种程度,但它无疑将推动工作能力的平均化。
02过分依赖AI的坏处
但故事还不止这些。
研究团队和BCG还设计了另外一个任务。这个任务是从BCG的面试题中精挑细选出来的一道超难商业案例题,且经过精确修改,可以让AI得出一个“让人信服的错误答案”。
研究者说,他们的目标是设计一个人类能出色胜任,但AI如果不经过仔细引导就没法答对的任务。
这个任务非常复杂,论文中没有给出具体的细节,只列出了步骤:
针对一家虚构企业,参与者必须结合研究者给出的访谈材料细节搜寻数据,然后再结合访谈内容和数据,分析公司的渠道表现,进一步为公司CEO提供信息和建议,以确定哪一个渠道增长潜力最大。
下一步还要再结合访谈内容和财务数据,对公司旗下的品牌绩效进行分析,寻找最具增长潜力的品牌。
对于这项任务,研究者主要考察回答的准确性。
结果,使用AI和不用AI的咨询顾问,表现差距极大,前者的正确率仅有60%,而人工完成任务的员工正确率则高达84.5%。
研究者写道:
在AI能力边界之外,具有高人力资本的人类在完成他们的工作时表现始终优于AI。
研究者认为,生成式AI完成任务的能力,有一个“锯齿状边界”。
在边界内的任务,它可以非常完美地胜任,但在边界外的任务,表现则很差劲。而且,由于生成式AI的工作原理,这个边界是不可见的,只有非常熟悉AI的人才能感知到。
例如,写一首十四行诗和一首恰好50个字的诗,对AI来说似乎都是信手拈来的任务,但由于ChatGPT使用token而不是单词来工作,所以AI非常擅长写14行诗,但“写50个字的诗”就是边界外、AI做不到的任务——ChatGPT写出来的诗总是多于或少于50个字。
这就是所谓的锯齿状边界,ChatGPT的能力范围并不是一条平滑的线,以人类的逻辑来看难度相近的任务,对AI来说却是另外一回事。
如果用ChatGPT Code Interpreter制图,这个锯齿状边界大概长这样。
更进一步,研究者也强调,实验结果表明,过分依赖AI反而会适得其反。
作者援引另外一项针对企业HR的研究指出,相比使用低质量AI或不使用AI的招聘人员,使用高质量AI的HR,会变得懒惰、粗心,对自己的判断也没那么有信心,他们错过了一些优质人才,做出了更糟糕的决定。而这一状况,在BCG的实验中也出现了。
所以,当AI变得非常优秀时,人类就变会得更懒惰,让AI接管一切,而不是把它当成工具来使用。哈佛商学院教授Fabrizio Dell'Acqua把这一现象称为“在方向盘上睡着了”,认为这会损害人类的学习、技能发展和生产力。
03「未来已来」
研究者总结说,无论在哲学和技术上对AI的本质和未来存在怎样的争论,AI实际上已经在颠覆人类的生产生活方式,就在此时此刻——这并不是一个需要未来n年巨额投资才能落地的“大饼”,它已经触手可及,每个人的手机、电脑都可以使用。
这些BCG咨询顾问,这些现实世界里的精英卷王,所使用的工具也只是“朴实无华”的ChatGPT,并没有什么特别的API或独家数据——与我们别无二致。
技术变革,正在以悄无声息的方式进行,随着更强大的LLM诞生,锯齿形的边界还在不断延伸,人类无疑将面对一个更加复杂的世界。
在这个充满变革的时代中,理解、掌控AI,学会如何与AI协作,总归是件有意义的事。
- 我的微信
- 这是我的微信扫一扫
- 我的电报
- 这是我的电报扫一扫