20岁拿下博士、答辩席坐着费曼的狂人：AI是第一种「外星智能」

Merged summary

TL;DR - 新智元梳理Stephen Wolfram的观点：强大AI具有“计算不可约性”和异于人类的认知结构，因此其行为难以被完全预测或用简单规则约束。关键是用隔离、监控、反馈和多智能体制衡管理风险。

• AI只能在存在规律的“可约口袋”中走捷径，面对复杂系统仍需逐步计算。
• 模型黑箱性可能源于内部概念无法被人类语言压缩表达，而非刻意隐藏推理。
• 静态对齐规则无法覆盖所有涌现行为，应采用默认不信任、限制联网和不可篡改日志等防御措施。
• Wolfram主张让多个AI相互制衡，可能比单一、全能的AI更稳定。