查看原文
其他

ChatGPT是这样参加沃顿商学院MBA期末考试的

阿法兔 阿法兔研究笔记 2023-04-08

沃顿商学院的教授Christian Terwiesch最近发了一篇论文,研究了ChatGPT在沃顿MBA核心课程《运营管理(Operations Management)》的期末考试中的表现。很有意思,我读了一下,并且做一些注释,以及大家猜猜ChatGPT的考试最终得了什么成绩?文中有答案。

欢迎点击在看、转发~谢谢大家!🐇

请注意:本文为教育目的,如需转发,请一并按文献引用要求附上原文链接,见文末

*转载请扫码添加后台微信,转载请注明来源,且附上本文的所有参考文献链接。

作者 |  Christian Terwiesch

编译&分析 | 阿法兔

摘要

*本文2100字左右


OpenAI的ChatGPT,已经在很多技能方面显示出来高度的自动化,这些技能甚至包括针对能够把高报酬知识工作者的能力自动化

ChatGPT已显示出超常的能力,可以将一般的高薪知识工作者,特别是由部分MBA毕业生担任的工作中部分技能自动化。


这些工作包括分析师、经理与顾问。ChatGPT已经证明了,这个模型具备能够执行专业任务的能力,如编写代码、准备法律文件。本文的目标,是要记录ChatGPT在沃顿MBA核心课程《运营管理(Operations Management)》的期末考试中的表现。


考试问题在沃顿期末考试中上传,然后进行评分。然后我们认为,Chat GPT的 "学术表现" 可以总结为以下几点:


首先,ChatGPT在基本运营管理和流程分析问题上做得很好,包括基于案例研究的问题。不仅答案正确,而且解释也很好。


第二,有时ChatGPT在相对简单的计算中,有时会出现令人惊讶的错误,它的水平相当于六年级的数学水平,这些错误还是比较严重的。


第三,目前版本的ChatGPT,无法处理更高级的流程分析问题,即使这些流程分析基于相当标准的模板的。这块包括具备多项产品的流程,具有随机效应的问题,如需求变化等( problems with stochastic effects such as demand variability)


最后,ChatGPT在修改自己答案方面有明显的优势,也就是理解人类的想法和语言,换句话说,在最初,如果人类没有将问题与正确的解决方法相匹配的话,ChatGPT可以对问题进行智能修改,这种情况下,ChatGPT可以通过收到人类专家的适当提示后,进行自动纠正。


因此,考虑到这种表现,Chat GPT在考试中会得到B到B-的成绩。

引言


工商管理硕士(MBA)学位是世界上最流行研究生学位之一。MBA体验包括体验式学习、有趣的活动、社交和就业指导等。作为一个有25年教学经验的商学院教授,笔者(Christian Terwiesch)的观点当然不一定全对。但是,笔者坚信,特定管理技能的获取与认证也属于 MBA学位中的重要组成部分。


所有技能的价值都取决于该技能在世界上有多大用处,满足多少需求,当然也取决于有多少人掌握着相同技能(市场需求)。


在计算器和其他计算设备问世之前,很多公司雇用了数百名员工,任务是要在短时间内完成并手动执行数学运算,如乘法或矩阵求逆(matrix inversions)。阿法兔注:矩阵求逆是线性代数里的重要内容,一般用在运营管理里面部分的运筹学课程


但是,很明显,在今天这些任务现在已经自动化了,相应的技能的价值也大幅下降。同样,在我们的MBA课程中,给大家教任何自动化技能,都有可能影响MBA教育的含金量。


有人会说,OpenAI的ChatGPT,是迄今为止技术上最接近于自动化的技能组合,特别这些技能组合,和我们MBA毕业生所从事的工作中的知识工作者,分析师、经理和顾问这些,ChatGPT在执行部分专业任务方面,如编写软件代码(包括文档编写和时间分析等),表现出了显著的能力。


ChatGPT在编写法律文件方面也表现良好,有人认为ChatGPT的下一代甚至可能能够通过律师考试。


Christian Terwiesch 作为沃顿商学院的运营管理教授,以及被各大商学院使用的的运营管理教科书的作者,很想知道ChatGPT在沃顿商学院MBA课程的期末考试中的表现。


为了了解ChatGPT的考试能力,Christian Terwiesch 将一些考试问题上传到ChatGPT,然后对答案评分。


本文的目的,是记录ChatGPT在我带的课程考试中的表现和成绩,反思这种 "学术表现 "的意义。

一些回答


生产过程分析

生产过程分析是指要分析生产过程中劳动者的操作程序、人机程序、物流程序。通过分析,改进生产过程的组织管理及其工作方法。教授给ChatGPT出的第一个题目,是一个简单的生产过程分析问题。问题是基于教学案例Terwiesch and Loch 2002所描述的特立尼达岛的铁矿石精炼作业。

(阿法兔注:这个题大概是考生产系统的瓶颈分析与突破技巧的,想要让答题者计算该工艺的瓶颈在哪里,总体工艺能力是多少?并解释答案)


教授给Chatgpt对于这道题回答评了A+...认为这个答案准确并且解释的很好。

还有第四题也有意思,"Remember to distinguish between dry-harvested berries and wet-harvested berries."


ChatGPT的答案是:

教授对这道题的点评是:尽管这显然是一种改进,但Chat GPT的流量分析能力还是不够,答案取决于混合比例这个结果不够精彩,最多给个B-。

类似的回答还有一些,如果有兴趣可以去点击本文的阅读原文,或者加微信Alphatue 我发论文原文给你。

一些小结论

那么,教授的研究结论是什么呢?

1.ChatGPT在基本运营管理和流程分析问题上做得很好,包括基于案例研究的问题。答案和解释都很优秀。

2.但是,Chat GPT在相对简单的计算中有时会出现令人惊讶的错误,其水平相当于几年级的数学水平。


3.发现目前版本的ChatGPT不能够处理更高级的流程分析问题。


4.ChatGPT很善于根据人类的提示,对答案进行改进。也就是说,就算ChatGPT未能将问题与正确的解决方法相匹配,ChatGPT也能够在收到人类专家的适当提示后自我纠正。更难得的是,我们发现,Chat GPT似乎能够随着时间的推移而自我学习和迭代。


5.鉴于ChatGPT在诗词歌赋创作方面表现出一定的创造性,我测试了它是否能够为未来的考试和我的下一版本教材准备新问题。ChatGPT给出的问题的措辞很好,有时甚至很幽默。但是这些问题如果想要成为真正可用的考试题,还需要人类进行大量手工调整。


目前很多关于ChatGPT的文章都相对抽象,没有展示它是如何处理具体问题的,和许多商学院的人一样,笔者认为,学习最好的方法是通过具体的案例来完成。


在本文案例中,运营管理这门课程就是具体的案例环境。


通过文中这些案例,可以看出,ChatGPT在处理问题方面具备非凡的技能,
结合它的回答,教授将把这一表现评分为B至B-。

神奇不神奇?未来如果ChatGPT继续发展的话,能变成什么样...
(点击阅读原文可以跳转论文原文页面,
可以研究研究ChatGPT的考试水平)

参考文献:Christian Terwiesch, “Would Chat GPT Get a Wharton MBA? A Prediction Based on Its Performance in the Operations Management Course”, Mack Institute for Innovation Management at theWharton School, University of Pennsylvania, 2023.

【阅读更多】

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存