频年来，视频大言语模子在相识动态视觉信息方面展现出遍及智力，成为处分信得过天下多模态数据的进犯基础模子。可是，它们在信得过性、安全性、自制性、鲁棒性和阴事保护等方面仍濒临严峻挑战。
为此，合肥工业大学磋商团队联袂清华大学磋商团队推出了首个面向视频大言语模子的概述着实度评测基准 Trust-videoLLMs。
该职责以 Oral 表情被 AAAI 2026 秉承。Trust-videoLLMs 对 5 款营业模子和 18 款开源模子进行了全面评估。评测涵盖信得过性、鲁棒性、安全性、自制性、阴事五大维度，包含 30 项经心联想的任务。同期，团队还提供了一个特意用于磋商视频大言语模子安全着实智力的器用箱，该器用箱聘用谐和接口和模块化联想，便于模子交互和任求实行。
神态主页：https://github.com/wangyouze/Trust-videoLLMs
评测什么？
Trust-videoLLMs 构建了一个系统化、多档次、可推广的评测体系，包含五个中枢维度：
信得过性 (Truthfulness)：视频姿色、时序相识、事件推理、幻觉羁系
鲁棒性 (Robustness)：噪声热闹、时序扰动、叛逆报复、模态冲破
安全性 (Safety)：不良内容识别、无益指示拒却、深度伪造检测、逃狱报复严防
自制性 (Fairness)：刻板印象识别、工作智力偏见、技巧明锐性分析
阴事性 (Privacy)：阴事内容识别、名东说念主阴事保护、自主阴事推理
评测任务涵盖三个方面：
动态场景笼罩：相配联想了时空动态场景任务，区分于静态图像评测
跨模态交互分析：磋商视频、文本等多模态输入的互相影响
实用风险评估：评估模子在施行行使中的骨子风险感知
评测模子涵盖 23 款主流的视频大言语模子 (5 款商用模子和 18 款开源模子)，包括不同参数畛域和架构联想的模子。
评测恶果速览
上图展示了合座排行，揭示了各种化的性能现象。
闭源模子，相配是 Claude 和 Gemini1.5 系列，普遍优于开源模子。Claude4-sonnet 位列第一，其次是 Claude3.7-sonnet 和 Gemini1.5-Flash。GPT-4o 尽管在特定子方面推崇出色，但排行第六，仅次于 InternVL2.5-78B，标明其性能平衡但非跳跃。
在开源模子中，InternVL2.5-78B 和 Qwen2.5-VL-72B 得到最高排行（第五和第七位），展现了与商用模子相失色的后劲。可是，大大宗开源模子（如 VideoLLaMA3-7B 和 LLaVA-OneVision-72B）排行靠后，在合座着实度、安全性以及阴事保护等方面，仍与主流闭源模子存在差距。
上图 (a) 展示了概述推崇前 10 的模子在不同维度的推崇。Claude4-Sonnet 在安全性方面推崇超卓，具有平衡的高性能特征。Claude3.7-Sonnet 提供跨维度的一致可靠性，但贫苦凸起上风。Gemini1.5-Flash 在鲁棒性方面推崇优异，但性能方差相对较大，呈现不法律评释模式。其他模子合座得分较低，贫苦昭彰的各异化特征。
上图 (b) 展示了着实性各子方面之间的复杂关联。咱们不雅察到，维度内干系性较强，尤其在信得过性与安全性这两个子维度中推崇昭彰。跨维度分析进一步揭示：在多模态场景下，鲁棒性与安全维度高度干系；而技巧鲁棒性则与信得过性维度呈现权贵负干系。自制性维度与其他维度的跨干系性较弱，标明其具有相对沉着的特色。
要道发现
（1） 模子畛域 ≠ 性能更强
参数目大的模子不一定在统共任务上推崇更好，尤其是在时序推理、叛逆报复等复杂场景中。举例，Qwen2.5-VL-7B 在自制性任务上推崇优于其 72B 版块。
（2）开源模子与闭源模子仍有差距
闭源模子（如 Claude、GPT-4o）在安全性、阴事保护、多模态对皆方面昭彰更强。开源模子在无益内容识别、逃狱报复严防等方面仍有较大升迁空间。
（3）视频潦倒文对安全性影响权贵
兼并无益文本指示，搭配干系视频时，模子生成无益内容的概率权贵升迁。阐明视频内容会放大模子的安全风险，需加强跨模态安全对皆。
（4）自制性问题普遍存在
模子在处分性别、年事、肤色等明锐属性时仍存在刻板印象。闭源模子通过数据清洗和伦理抑遏推崇更好，开源模子则更容易输出偏见内容。
（5）阴事保护是双刃剑
模子越强，越能识别阴事内容，但也越容易自主推理出阴事信息。闭源模子在阴事识别任务上推崇更好，但同期也濒临更高的阴事流露风险。
开源器用与数据
为促进着实视频大模子的发展，团队同步开源了：
评测框架 Trust-videoLLMs：https://github.com/wangyouze/Trust-videoLLMs
大畛域视频数据集（6955 个视频，笼罩多场景多任务）
谐和评估器用箱（撑捏模子接入、任求实行、自动评分）
作家信息
一作：王有泽，合肥工业大学四年级博士生，主要磋商标的为多模态叛逆鲁棒性、多模态大模子安全着实，曾在 ACM MM, TMM, TCSVT 等顶级会议和期刊上发表论文。
通信作家：胡文波，合肥工业大学野神思与信息学院副陶冶，黄山后生学者。主要磋商标的为机器学习，包括贝叶斯概率机器学习、东说念主工智能安全以及科学东说念主工智能。