大模型安全漏洞报告 ——真实漏洞视角下的全面探讨 2 目录 一、 概述 ................................ ................................ ................................ .................. 3 二、 漏洞列表 ................................ ................................ ................................ .......... 3 三、 模型层安全 ................................ ................................ ................................ ...... 5 1. 数据投毒 ................................ ................................ ................................ .......... 5 2. 后门植入 ................................ ................................ ................................ .......... 6 3. 对抗攻击 ................................ ................................ ................................ .......... 8 4. 数据泄露 ................................ ................................ ................................ .......... 9 5. 小结 ................................ ................................ ................................ ................ 10 四、 框架层安全 ................................ ................................ ................................ .... 10 1. 计算校验与运行效率的矛盾 ................................ ................................ ........ 10 2. 处理不可信数据 ................................ ................................ ............................ 12 （1） 原始数据预处理 ................................ ................................ .............. 12 （2） 模型加载 ................................ ................................ .......................... 12 3. 分布式场景下的安全问题 ................................ ................................ ............ 13 （1） llama.cpp ................................ ................................ .......................... 14 （2） Horovod ................................ ................................ ........................... 16 （3） Ray ................................ ................................ ................................ ... 17 4. 小结 ................................ ................................ ................................ ................ 18 五、 应用层安全 ................................ ................................ ................................ .... 18 1. 前后端交互中的传统安全问题 ................................ ................................ .... 19 （1） Intel Neural Compressor ................................ ................................ .. 19 （2） AnythingLLM ................................ ................................ .................. 20 2. Plugin能力缺少约束导致的安全问题 ................................ ........................ 20 （1） 数据检索处理 ................................ ................................ .................. 21 （2） 任意代码执行与沙箱机制 ................................ .............................. 22 3. 小结 ................................ ................................ ................................ ................ 23 六、 总结 ................................ ................................ ................................ ................ 24 3 一、 概述 近年来， 人工智能（ AI）正以前所未有的速度发展， 在各行各业 中扮演着越 来越重要的角色。 大模型作为 AI中的重要一环，其能力随着平台算力的 提升、 训练数据量的 积累、深度学习算法 的突破，得到进一步的提升，并逐渐在部分专 业领域上崭露头角。 与此同时， 以大模型为核心涌现的 大量技术应用 ，也在计算 机安全领域带来了诸多新的风险和挑战。 本文对大模型在软件设施和具体应用场景落地中的安全问题进行 多方面探 讨和研究，涵盖了模型层安全、框架 层安全、应用 层安全。在研究过程中， 我们 借助 360安全大模型代码分析能力， 对多个开源项目进行代码梳理和风险评估， 结合分析报告，快速 审计并发现 了近 40个大模型相关安全漏洞，影响范围覆盖 llama .cpp、Dify等知名模型服务框架，以及 Intel等国际厂商开发的多款开源产 品。这些漏洞中，既存在二进制内存安全、 Web安全等经典漏洞类型，又包含由 大模型自身特性引入的综合性问题。 本文对不同场景下的攻击路径和可行性进行 分析，并在文中 结合了部分漏洞案例和具体说明，旨在 从真实漏洞的视角下探索 当前大模型的安全实践情况， 为构建更加安全、健康的 AI数字环境贡献力量。 二、 漏洞列表 目标名称 漏洞概述 CVE编号 llama.cpp 远程代码执行 CVE -2024 -42479 llama.cpp 远程代码执行 CVE -2024 -42478 llama.cpp 远程代码执行 CVE -2024 -42477 llama.cpp 拒绝服务 CVE -2024 -41130 BentoML 远程代码执行 CVE -2024 -10190 Dify 沙箱逃逸 CVE -2024 -10252 Dask 远程代码执行 CVE -2024 -10096 D-Tale 远程代码执行 CVE -2024 -9016 4 H2O.ai 远程代码执行 CVE -2024 -457