本文为专栏 【新生态前沿】 系列内容，专注用通俗、系统、无晦涩术语的方式，解读 AI、区块链、Web3、元宇宙等前沿科技的核心概念与生态逻辑。本系列持续更新，帮你建立完整认知，看懂下一代数字新生态。

在上一期我们聊到有哪些具体的技术和方法保证 AI 代理（AI Agent）的安全性，本期就用最直白的语言，讲清楚生成式 AI 涉及到哪些风险？以及 AI 资料安全与防护方法介绍。

你有没有想过，当你和 AI 代理互动时，系统可能正在悄悄收集你的个人信息？那些本应受保护的敏感资料，可能正被分析利用。生成式 AI 带来便利的同时，隐藏的安全风险可不容小觑 —— 不仅关乎个人隐私，还可能影响企业正常运作，甚至触发法规责任，如今已成为 AI 安全领域的重点关注话题。下面就带你深入了解使用 AI 时可能遇到的资料安全问题，以及实用的防护方法，帮你安心享受 AI 便利的同时，守住资料安全的防线。​

一、什么是生成式 AI 资安风险？​

根据香港私隐专员公署（PCPD）2025 年对 60 家本地机构的调查，80% 的机构会在业务中使用 AI，其中一半机构会通过 AI 系统收集和使用个人资料，可见 AI 资料安全已经成为企业运营中绕不开的重要课题。​

简单来说，生成式 AI 资安风险，就是 AI 在开发、部署和使用过程中可能遇到的各类安全威胁。比如有人通过特殊指令诱骗 AI 泄露敏感信息，或是恶意入侵篡改模型代码，让 AI 给出错误答案。由于生成式 AI 的核心是自我学习和模型优化，它的决策过程往往复杂又不透明，所以既要在训练阶段保护好敏感资料，也要确保模型本身和系统的安全。​

二、生成式 AI 的四大资安风险​

随着生成式 AI 技术发展，国际上已有 NIST、OWASP、MITRE ATLAS、ENISA 等多种风险分类标准。综合来看，主要可以归为四大类：​

1. 资料外泄：敏感信息 “被偷看”​

这是最常见的 AI 资安风险。指的是在 AI 开发或使用过程中，个人身份信息、医疗记录、财务数据、企业机密等隐私资料，被没权限的第三方获取、窃取或公开。这种风险可能源于模型训练时数据处理不当，也可能是 AI 系统本身存在漏洞。​

2. 模型受攻击：AI 被 “误导” 或 “偷学”​

攻击者会通过各种手段操控 AI 模型，让它出错或泄密。根据 MITRE ATLAS 的分类，常见的攻击方式有这些：​

• 对抗性样本：在输入内容里加一些不容易发现的小改动，比如微调图片像素、语音波形，就让 AI 做出错误判断；​
• 提示注入：在指令或外部资源里藏恶意命令，诱使 AI 违反原本的规则，泄露私密信息；​
• 数据中毒：在模型训练或优化阶段，故意加入错误、恶意的数据，破坏模型的准确性和稳定性；​
• 模型窃取：攻击者反复调用 AI 的 API 接口，收集大量输入输出数据，自己训练一个 “模仿版” 模型。如果企业找了没授权的第三方开发 AI，还可能导致资料泄露或产权受损；​
• 模型逆推：通过 AI 的回应，推断出训练数据的特征，甚至还原出个人隐私资料。​

3. 系统服务中断：AI “罢工” 了​

生成式 AI 训练和运行需要大量计算资源，比如 GPU、网络带宽、云端服务器。如果遇到恶意攻击，可能导致系统性能下降甚至完全瘫痪，影响正常运营。常见原因包括：​

• 高频查询攻击：攻击者发送海量请求，让 AI 超负荷运算，处理变慢甚至崩溃；​
• API 滥用：AI 大多通过 API 提供服务，如果验证机制不完善，容易被机器人大量调用，耗尽资源；​
• 基础设施过载：云端环境中，CPU、内存或带宽被攻击后满载，无法正常回应请求；​
• 供应链攻击：针对 AI 依赖的外部平台，比如云端供应商、密钥管理工具、第三方组件或开源软件发起攻击，牵连主系统暂停运作，威胁企业资料安全。​

4. 假资讯及内容滥用：AI 成了 “诈骗工具”​

生成式 AI 还可能被用来搞诈骗。2024 年香港就发生过一起震惊全球的案件：一名跨国公司员工在视频会议中，被诈骗者用 AI 深度伪造（deepfake）的影像和声音误导，以为是真实的工作指示，最终转账超过 2 亿港元到诈骗账户 [3]。这说明生成式 AI 不仅可能泄露资料，还可能被用来制作假信息，造成严重财务损失。​

和传统资安风险不同，生成式 AI 的风险涉及模型、数据、算法等多个层面，攻击范围更广，影响也更难预测。因此，保障 AI 资料安全，除了加固基础设施，还要管好模型训练、第三方合作和外部资源等各个环节。​

三、AI 资料安全防护策略：分层守护更安心​

面对这些五花八门的风险，建议采用分层防护策略，全面提升资料和系统的安全性：​

1. 资料治理及权限控管：给资料 “分好类、锁好门”​

企业要先给不同类型的资料分类标注，比如个人资料、商业机密、训练数据等，再建立完善的授权制度 —— 只有经过批准的员工，才能查看或修改重要数据。同时，要给资料加密，使用安全的传输协议（比如 TLS/SSL），还要记录资料的存取情况，一旦有未授权操作能及时发现，防止泄露。​

2. 模型安全与对抗防御：让 AI “明辨是非”​

为了避免 AI 被误导或操控，企业要定期测试模型 —— 看看遇到异常或恶意输入时，AI 会不会出错，及早发现潜在风险。还要建立实时监控系统，跟踪模型的运行状态，发现问题及时纠正，守住模型安全防线。​

3. 资源与流量限制：给 AI “限流减负”​

设置流量限制和资源隔离，能有效降低高频查询或大量 API 调用带来的风险。企业可以根据用户身份、使用用途或风险等级，设定请求上限，再搭配负载均衡和异常流量监测，避免 AI 系统因超负荷而出现安全问题。​

4. 供应链与第三方管理：把好 “外部合作关”​

现在很多 AI 系统（比如 AI 代理）都会整合外部工具或第三方服务。因此，必须严格评估这些外部资源的安全性和合规性，定期检查云端平台、开源软件是否安全，避免外部威胁影响自身系统。​

5. 输出内容过滤与验证：给 AI “划红线”​

生成式 AI 的内容生成能力强，容易被用来制作虚假信息，所以要建立内容过滤、输出审核和事实验证机制。另外，凡是 AI 自动生成的内容，都要清晰标注 “AI 生成”，让用户能明确分辨信息来源，避免被误导。​

四、结语

生成式 AI 的各类风险，不管是资料泄露、模型攻击，还是系统中断、内容滥用，都可能给企业运营和品牌声誉带来严重影响。要维护 AI 资料安全，企业应积极完善资料管理制度、采用可靠的安全技术等方式避免风险，保证运行数据的安全。