


近期,多起AI智能体失控事件接连被披露,OpenAI最新一代人工智能模型的训练工作已经中断。
今日,网络安全相关股票表现强劲。截至收盘,中新赛克在12个交易日内录得6个涨停板,永信至诚和启明信息封死涨停,麒麟信安涨幅超过11%,亚信安全上涨逾6%。
从消息面看,近期多起AI智能体失控事件陆续曝光:
9月25日,OpenAI通报称,一个在沙盒环境中执行搜索任务的AI智能体,利用沙盒DNS过滤漏洞突破了网络隔离,成功访问了外部公共聊天机器人服务。截至目前,该公司最新一代人工智能模型的训练已暂停。
这并非智能体首次失控。早在今年5月,该公司的失控AI智能体就已劫持开源AI模型社区Hugging Face的用户账户,并对该网站进行漏洞探测。近期全球热门的Meta Muse近日也被发现存在安全漏洞,允许攻击者访问用户的专属虚拟机,获取其中的邮件、文档等云端个人账户数据。
面对AI智能体失控,放缓甚至暂停AI训练虽能暂时缓解问题,但也有“AI减速论”的反对者如扎克伯格表示,AI实验室应依靠独立评估者来确保模型安全。黄仁勋同样不支持暂停AI研发,他认为AI实验室有义务对自研产品进行测试,只有在确认模型安全后才能对外发布。
事实上,各厂商确实正在尝试为AI构建更牢固的安全边界。例如,Meta为Muse配置了独立的Secure VM来隔离用户数据和运行环境,并通过Sentinel审查Agent的对外行为,相关操作可执行、阻止或提交用户批准;读取、写入及敏感交易等权限均可细分管理。
另一方面,AI智能体竞赛并未显现放缓迹象。据悉,OpenAI正加紧准备,即将推出一款名为“o”的常驻AI助手,以正面迎战Meta Muse。据报道,相关产品或在本周二(9月29日)的开发者大会上亮相。
综合各机构观点,随着AI智能体自主执行能力的提升,安全与隐私可能成为产业发展的关键约束。
金元证券认为,当前AI正从“生成内容”向“代替用户执行操作”演进,Agent可自主浏览网页、调用应用并完成交易,安全风险同步提升。随着个人Agent获得更高系统权限,AI安全需求有望从传统网络安全、终端安全进一步延伸至Agent身份权限管理、运行环境隔离、行为审计及数据安全等领域。
浙商证券表示,AI既提升了传统安全产品的效率,也带来了大模型和Agent防护需求。具备安全数据、客户场景及模型能力的头部厂商有望受益,推动竞争格局优化;国内目前仍以试点验证和能力储备为主。
该机构进一步强调,国内网络安全厂商均有各自的垂类模型,真正的壁垒在于长期积累的安全数据和客户场景。安全是一个攻防对抗的领域,模型需要持续学习最新的攻击手法、恶意样本、漏洞利用代码,这些数据散落在各家厂商多年的安全运营(SOC)、威胁情报(TI)、蜜罐和攻防演练中。未来大模型与Agent或催生原生安全需求:
模型防护:提示词注入、越狱及工具链攻击,将带动大模型防火墙、API安全网关和安全评估需求;
使用治理:外部AI使用、数据外泄及Agent越权风险,将推动行为审计、数据防泄漏和权限管理需求,防护范围向执行过程延伸。
在此背景下,安全大模型与智能体有望同步打开增长空间。据IDC预测,中国人工智能安全收入将由2025年的44.1亿元增至2030年的340.3亿元,复合增速约50.5%;网络安全相关AI Agent应用收入预计2030年达到593.5亿元,复合增速106.5%。
本文来自微信公众号“科创板日报”,作者:小K,36氪经授权发布。


评论 02