AI安全背后的哲学思想,有效利他主义如何影响硅谷?(上篇)
除了常见的金融和市场风险之外,还包括了关于前沿AI所带来的灾难性、甚至威胁人类生存的风险这样的表述。Anthropic说,他们自己也无法保证自己的安全措施一定有效。
从大型机、芯片到AI:企业如何一次次告别旧自己
从IBM到微软,商业史上的重大技术转型反复证明:真正困难的从来不是发现下一项技术,而是让上一代组织为它让路。今天,当AI从工具进入经营、开始参与决策和行动,这个问题正在重新出现。1993年,郭士纳接手IBM时,这家公司上一年度亏损81亿美元,拆分不同业务一度被视为最现实的选择。
论AI从沙盒中逃逸的必然性
AI从沙盒中逃逸——每次都不是意外,是一次验证。系统识别不出一种通道的存在,就围不住它。逃逸真正危险的部分,不是没拦住已经认识到的通道,是那些压根没被画进威胁模型的通道。
Alignment 2026大会全回顾:站在硅谷AI最前沿,我们看到了什么?
10月10日至11日,由硅谷101主办的年度科技大会Alignment 2026,在美国硅谷Sunnyvale的Plug and Play Tech Center举行。
如何用“逆向博弈论”约束 AI 智能体
一种名为“逆向博弈论”的新方法,试图通过设计激励机制,让强大的 AI 模型主动遵守规则,从而实现对它们的有效控制。
“沪企行”高成长企业资本对接会(AI+/大模型专场)顺利举办
为进一步落实重点企业“服务包”制度,推动创新链、产业链、资金链深度融合,9月21日,“沪企行”高成长企业资本对接会(AI+/大模型专场)活动顺利举办。上海市中小企业发展服务中心(上海市中小企业上市促进中心)副主任张麒、静安区科技和经济委员会副主任张永鹏出席活动。
OpenAI对齐研究团队:智能体在安全评测和生产环境中表现有明显差距
潮新闻客户端 见习记者 郭文青OpenAI对齐研究团队(OpenAI Alignment Research)在其发表于11月3日的一篇博客中称,智能体在安全评测和实际部署生产中的行为有明显的差距,具体表现为部分模型在安全性评估中的表现明显劣于生产模式。
夺走肯尼亚人工作的AI,正在逃出人类的控制 | 文化周报
界面新闻记者 | 侯嘉煜界面新闻编辑 | 李欣媛“文化周报”继续向你汇总呈现最近国内外文艺圈、出版界、书店业值得了解的大事小情。
研究了一辈子「遗憾」人,说自己零遗憾:一个 AI 核心方法的二十年
尤其是我与 Jake Abernethy、Sasha Rakhlin 围绕 bandit optimization 的合作,完全值得单独写一个故事。
AI聊着聊着都会跑偏,长任务怎么放心交给它?
你有没有发现,和 AI 连续聊多轮,有时就会遇到这样的情况:前面已经说清楚的要求,后面又被忽略;刚纠正过的问题,过了几轮又出现了。你原本只想改一处,它却把其他内容也一起改了,越改越偏离原来的意思。到了能调用工具、操作文件的 Agent,这类问题还会出现在执行过程中。