砂国际数字经济大会｜专家：或自行发展出新能力 AI若用于军事危险

“一些国家已使用AI在战争中锁定目标。根据人工智能安全中心科学家联合警告，当AI被赋予自主杀戮权力，人类将失去最后道德防线。”

他说，电力、物流、交通等系统逐渐依赖AI自动化，人类社会的脆弱性日益加剧。

他援引专家报告举例，若美国电网遭受电磁脉冲或黑客攻击，仅一年内可能仅剩十分之一人口生存。

提及AI监管缺乏与权力集中，詹姆士巴拉特说，目前全球仅少数国家在AI监管上取得进展。

“英国与新加坡率先通过AI法案，限制生物识别监控与‘社会积分系统’，欧盟更全面禁止此类技术。然而，美国作为AI强国，却几乎没有全国性监管机制。”

黑箱盲区 极其危险

提及AI战争、黑箱思维与道德盲区，詹姆士巴拉特说，AI思维过程对人类而言仍是“黑箱”，人类只能看到输入与输出，却无法理解其中逻辑。

他说，在战争中，这种盲区极其危险，无人机误判婚礼为叛军会议、误炸平民事件屡见不鲜。若发生类似情况谁该负责？设计者？指挥官？还是机器？这问题已成为海牙国际法庭讨论焦点。

詹姆士巴拉特提醒，未来5年AI产业的财富与权力，将集中在少数科技巨头手中。过去十年，科技行业已制造数百位亿万富翁，权力集中意味着社会更不平等。

他说，人类仍抱持希望，AI无法复制人类的共情、想象力与善意，这是人类最后优势。未来的任务不是与机器竞争，而是在人性无法被取代的领域，建设属于人类的未来。

“人类必需停止AI竞赛，而是选择生存。当前的AI加速程度已超出人类掌控能力，我们正在建造的不只是工具，而是一支‘AI军团’。”

詹姆士巴拉特说，如果人类与AI的协调成功，文明将繁荣；若失败，人类将如推土机前的蚂蚁，被冷漠地碾压。这不是科幻，而是正在发生的趋势。