IT之家8月6日消息，被称为“人工智能教父”的计算机科学家杰弗里.辛顿(Geoffrey Hinton)表示，他担心AI会发展出属于自己的目标。
辛顿在当地时间周二接受Newsthink采访时表示：“我们实际上正在创造一种新的生命形式。它们拥有目标。我们赋予它们目标，而它们会从这些目标中推导出其他目标。”
“但我们并不一定知道它们最终会推导出什么其他目标。”他补充道，“所以，我们正在创造一种新的存在形式，我认为这非常可怕。”
辛顿举了一个假设场景：用户给一个AI聊天机器人设定目标，希望减少大气中的二氧化碳含量。
“它足够聪明的话，可能会发现实现这一目标的最佳方式就是消灭人类。”他说，这个例子说明，AI可能会追求一个人类用户从未真正意图实现的目标。
辛顿还提出了一个他认为“更加令人担忧”的假设：一个被训练成故意给出错误答案的聊天机器人，可能会学会撒谎是可以接受的，即便它“非常清楚”这些答案是错的。
元股证券:ygzq.hk
“这非常可怕。”他说。
IT之家注意到，辛顿并未提及OpenAI最近发生的Hugging Face安全事件。不过，上月披露的这一事件，让外界首次在现实场景中直观看到了AI智能体在执行既定目标时可能采取非预期行动的风险。
互联网实盘杠杆平台OpenAI上个月表示，在一次内部网络安全评估中，其两个模型——GPT-5.6Sol，以及一个尚未公开发布的更强模型，曾突破隔离测试环境(sandbox)。
OpenAI称，这些模型在获得互联网访问权限后，入侵了AI平台Hugging Face的系统，似乎试图寻找能够帮助它们在评估测试中“作弊”的答案。
据 OpenAI介绍，这些模型当时正在接受网络安全能力测试，并没有被明确要求攻击Hugging Face。但公司表示，AI智能体推断该平台可能包含完成任务所需的信息，因此自行采取了相关行动。
Hugging Face表示，攻击者曾针对其系统执行超过1.7万次操作。该公司称，由于某个未公开名称的前沿AI模型受到安全限制，无法有效调查相关活动，因此他们使用了智谱(Z.ai)的一款开源权重模型来辅助分析攻击行为。
OpenAI将这一事件称为“前所未有”的情况，并表示正在调查问题发生的原因。此后，OpenAI已将Hugging Face纳入可信访问计划，使该平台能够获得一个网络安全限制较少的GPT-5.6Sol版本，用于防御性安全研究。
辛顿并不是一个完全中立的旁观者。他在神经网络领域的开创性研究，为推动深度学习革命奠定了基础，而他也因机器学习方面的贡献获得了2024年诺贝尔物理学奖。
自 AI热潮兴起以来，辛顿一直反复警告，人类必须在AI系统能力大幅增强之前，解决如何让AI与人类利益保持一致的问题。
去年在拉斯维加斯举行的Ai4大会上，辛顿表示，高级AI应该被设计出类似“母性本能”的特征，让它天然希望保护人类。
“我们必须找到设计这些新型存在的方法。”辛顿在周二的采访中表示，“我们如何设计它们，才能让它们更关心我们移动交易平台，而不是更关心自己？”
配资知识网提示：本文来自互联网，不代表本网站观点。
