警告“AI或灭绝人类”的前Anthropic研究员：某种意义上，我曾研究让AI取代自己

来源：金融界

据《商业内幕》报道，曾在Anthropic和OpenAI任职的研究员雅各布·考克森警告，AI很快就能自主开展研究，人类可能完全无法掌控此后的发展。

27岁的考克森曾在Anthropic从事模型能力研究，上个月公开宣布辞职。当地时间5日，他向纽约市议员发出警告，称AI可能威胁人类生存。

考克森在纽约市议会有关AI风险的听证会上作证称，顶尖前沿AI实验室的首要目标，是让AI研究实现自动化。“我在上一份工作中，某种意义上就是在研究怎么让AI取代自己。我在OpenAI时，我们为自动化AI研究员设定了2027年、2028年前后的阶段性目标，研发进度符合预期，甚至超过预期。距离那个时候只有几个月，不是几十年，连五年都不是。”

一旦AI能自行开展研究，人类参与和干预研究的程度会比今天低得多，而今天的情况就不太理想。以他的亲身经历来看，大部分代码都由AI编写，“人们也不再那么仔细地检查代码。”

考克森向议员们作证称，在Anthropic和OpenAI的工作经历令自己确信，两家公司没有充分的安全保障，却仍在推进研发。“人类失去控制权、让AI掌握控制权的概率超过一半，最终可能导致人类灭绝。根据我的经历，后果如此重大，两家公司的做法却极其鲁莽。”

考克森在X上宣布辞去Anthropic职务时，发帖指控Anthropic和OpenAI都没有负责任地行事，拿人们的生命作赌注。帖子随后广泛传播。

听证会上，考克森呼吁AI实验室提高透明度，放慢技术飞速发展的步伐。“这些公司用的是初创企业那套思路：先快速推进，出了问题以后再修。做照片分享应用可以这么干，开发有史以来最强大的技术可不行。”

据IT之家此前报道，今年9月，考克森在辞职时发出警告：“研发AI的人确实相信，AI可能在本世纪20年代结束前杀死我们所有人。这不是营销噱头。”