OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试

分布外（OOD）检测对于开放世界智能系统的可靠运行至关重要，但目前面向对象的检测方法存在「评估不一致」（evaluation inconsistencies）的问题。

之前的工作OpenOOD v1统一了OOD检测的评估，但在可扩展性和可用性方面仍然存在限制。

最近开发团队再次提出OpenOOD v1.5，相比上一版本，新的OOD检测方法评估在确保准确、标准化和用户友好等方面得到显著提升。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

paper: https://arxiv.org/abs/2306.09301

OpenOOD Codebase: https://github.com/Jingkang50/OpenOOD

OpenOOD Leaderboard: https://zjysteven.github.io/OpenOOD/

值得注意的是，OpenOOD v1.5将其评估功能扩展到ImageNet等大规模数据集，研究了重要但尚未开发的全谱OOD检测，并引入了新功能，包括在线排行榜和易于使用的评估器。

这项工作也有助于深入的分析和见解来自全面的实验结果，从而丰富了知识库的OOD检测方法。

通过这些增强，OpenOOD v1.5旨在推动OOD研究的进展，并为OOD检测研究提供更强大和更全面的评估基准。

研究背景

对于训练好的图像分类器，能让其可靠地在开放世界中工作的一个关键能力便是检测未知的、分布外的（out-of-distribution, OOD）样本。

例如我们利用一组猫狗照片训练出了一个猫狗分类器。对于分布内的（in-distribution, ID）样本，也就是这里的猫、狗图片，我们自然期待分类器能够准确地将它们识别到相应的类别中去。

而对于分布外的OOD样本，也就是除了猫狗之外的任何图片（例如飞机、水果等等），我们希望模型能够检测出它们是未知的、新颖的物体/概念，因而无法将它们判别到分布内的猫或狗任何一类中。

这个问题便是分布外检测（OOD detection），其近年来吸引了广泛的关注，新工作层出不穷。然而领域快速扩张的同时，追踪、衡量领域的发展现状却由于种种原因成了一件难事。

原因1：不一致的测试OOD数据集。

深度学习各个任务的快速发展都离不开统一的测试数据集（就像图像分类有CIFAR，ImageNet，物体检测有PASCAL VOC，COCO）。

然而不幸的是OOD检测领域一直以来都缺乏统一的、被广泛采用的OOD数据集。这就造成了在上图中，当我们回看已有工作的实验设定时，会发现所用的OOD数据十分不一致（例如对于CIFAR-10是ID数据的情况，有些工作使用MNIST，SVHN作为OOD，有些工作使用CIFAR-100，Tiny ImageNet作为OOD）。在这样的情况下，直接公平地比较全部方法面临巨大困难。

原因2：令人困惑的术语。

除了OOD检测外，另外一些术语比如“开集识别”（Open-Set Recognition, OSR），“新类检测”（Novelty Detection）也常常出现在文献中。

它们本质上都在关注同一个问题，仅在一些实验设定的细节上有着微小差别。然而不同的术语会导致方法之间形成不必要的分支，例如OOD检测和OSR就曾经被当作是两个独立的任务，而不同分支之间的方法（尽管在解决同一个问题）也很少被放在一起比较。

原因3：错误的操作。

在许多工作中，研究者们往往直接使用OOD测试集中的样本来调参甚至训练模型。这样的操作会对方法的OOD检测能力做出高估。

以上的问题显然是对领域的有序发展不利的，我们迫切需要一个统一的基准和平台来测试评估现有以及未来的OOD检测方法。

OpenOOD 在这样的挑战下应运而生。其第一版迈出了重要的一步，然而有着规模小、可用性有待提升的问题。

因此在OpenOOD全新版本v1.5中，我们进一步做了加强和升级，试图打造一个全面、准确、易用的测试平台供广大研究者使用。

总结来看，OpenOOD有着如下重要的特性和贡献：

1. 庞大、模块化的代码库。

该代码库将模型结构、数据预处理、后处理器、训练、测试等等进行了解藕及模块化，方便复用以及开发。目前OpenOOD实现了近40种最先进的针对图像分类任务的OOD检测方法。

图片

2. 可一键测试的评估器。

如上图所示，仅用几行代码，OpenOOD的评估器就可以在指定的ID数据集上给出所提供的分类器、后处理器的OOD检测测试结果。

相应的OOD数据是由评估器内部所确定并提供的，这保证了测试的一致性和公平性。该评估器也同时支持标准OOD检测（standard OOD detection）和全谱OOD检测（full-spectrum OOD detection）两种场景（后文会有更多介绍）。

3. 在线排行榜。

利用OpenOOD，我们在CIFAR-10，CIFAR-100， ImageNet-200，ImageNet-1K四个ID数据集上比较了近40种OOD检测方法的性能，并将结果制作成了公开排行榜。希望能够帮助大家随时了解领域内最有效、最有潜力的方法。

4. 实验结果中的新发现。

根据OpenOOD全面的实验结果，我们在论文中提供了许多新发现。例如，尽管看起来与OOD检测关系不大，但数据增强（data augmentation）实际上能有效提升OOD检测的性能，且这方面提升与具体OOD检测手段带来的提升是正交、互补的。

另外，我们发现已有方法在全谱OOD检测上的表现并不尽如人意，这也将是未来领域内一个重要的待解决问题。

问题描述

这一部分会简略、通俗地描述标准与全谱OOD检测的目标。对于更详细、正式的描述，欢迎大家阅读我们的论文。

图片

首先讨论一些背景。在我们所考虑的图像分类场景下，分布内（ID）数据是由相应的分类任务所定义的。例如对于CIFAR-10分类，ID分布就对应着它的10个语义类别。

OOD的概念是相对于ID形成的：ID语义类别之外的、与ID类别不同的任何语义类别所对应的图片都是分布外OOD图片。与此同时，我们需要讨论如下两种类型的分布偏移（distributional shift）。

Semantic Shift：深层语义层面上的分布变化，对应上图横轴。例如训练时语义类别是猫、狗，测试时语义类别是飞机、水果。

Covariate Shift：表层统计层面上的分布变化（而语义不变），对应上图纵轴。例如训练时是猫、狗的干净自然照片，测试时是加了噪声或手绘的猫、狗图片。

有了上述背景，再结合上图就可以很好理解标准以及全谱OOD检测。

标准OOD检测

目标（1）：在ID分布上训练一个分类器，使其能够准确对ID数据进行分类。这里假设测试ID数据与训练ID数据不存在covariate shift。

目标（2）：基于训练好的分类器，设计OOD检测方法使其能够对任意样本进行ID/OOD的二分类区分。在上图中对应的是将(a)和(c) + (d)区分开来。

全谱OOD检测

目标（1）：与标准OOD检测类似，但区别在于考虑了covariate shift，也就是无论测试ID图片相比训练图片是否有covariate shift，分类器都需要精准分类到相应的ID类别中（例如猫狗分类器不仅应该准确分类“干净”猫狗图片，还应当能泛化到带噪、模糊的猫狗图片上）。

目标（2）：同样考虑covariate-shifted ID样本，需要将其与正常（没有covariate shift）的ID样本一同与OOD样本判别开来。对应上图中区分(a) + (b)和(c) + (d)。

为什么全谱OOD检测很重要？

熟悉的小伙伴可能已经发现，全谱OOD检测中的目标（1）实际上对应着另一个很重要的研究课题——分布外泛化（OOD generalization）。

需要澄清一下，OOD泛化中的OOD指的是存在covariate shift的样本，而OOD检测中的OOD指的是存在semantic shift的样本。

这两种偏移（shift）都是现实世界中十分常见的，然而现有的OOD 泛化和标准OOD检测都仅仅只考虑了其中一种而忽略了另一种。

与之相反，全谱OOD检测在同一场景下将两种偏移自然地考虑在了一起，更准确地反映了我们对于一个理想分类器在开放世界中表现的预期。

实验结果及新发现

在1.5版本中，OpenOOD对近40种方法在6个基准（benchmark）数据集（4个针对标准OOD检测，2个针对全谱OOD检测）上做了统一、全面的测试。

论文中对所实现的方法及数据集都进行了描述，欢迎大家查阅。全部实验也都可以在OpenOOD的代码库中复现。这里我们直接讨论从对比结果中得到的发现。

图片

发现1：没有赢家通吃（no single winner）。

在上表中，不难发现并没有任何一个方法能够在全部基准数据集上持续地给出突出表现。

例如后处理的方法（post-hoc inference methods）ReAct和ASH在大数据集ImageNet上表现优异，但在CIFAR上相比其他方法并没有优势。

与之相反，一些在训练中加入约束的方法（training methods），例如RotPred和LogitNorm，在小数据集上要优于后处理方法，但在ImageNet上并不突出。

发现2：数据增强有效（data augmentations help）。

如上表所示，尽管数据增强并不是专门为OOD检测所设计的，但它们却能有效提升OOD检测的表现。更令人惊喜的是，数据增强带来的提升与具体OOD后处理方法带来的提升是互相放大的。

这里以AugMix为例，当它与最简单的MSP后处理器结合时，在ImageNet-1K near-OOD检测率上达到了77.49%，仅比不适用数据增强的交叉熵损失（corss-entropy loss）训练的检测率77.38%高1.47%。

然而当AugMix与更先进的ASH后处理器结合时，相应的检测率比交叉熵基线高了3.99%，并达到了我们测试中最高的82.16%。这样的结果显示了数据增强与后处理器的结合对于未来进一步提升OOD检测能力是非常有潜力的。

发现3：全谱OOD检测对现有方法提出了挑战（full-spectrum detection poses challenge for current detectors）。

从上图中可以清晰的看出，当场景从标准OOD检测切换为全谱OOD检测时（也即在测试ID数据中加入了covariate-shifted ID图片），绝大多数方法的性能都表现出了显著的退化（大于10%的检测率的下降）。

这代表着当前方法倾向于将实际语义未发生变化的covariate-shifted ID图片标记为OOD。

该行为与人类的感知（同时也是全谱OOD检测的目标）是相悖的：假设一个人类标记员在标记猫狗图片，此时给他/她出示带噪、模糊的猫狗图片，他/她应当仍会识别出那是猫/狗，是分布内ID数据而不是未知的分布外OOD数据。

总的来看，目前方法无法有效地解决全谱OOD检测，而我们相信这将是未来领域内的一大重要问题。

此外还有许多发现没有列在这里，例如数据增强对于全谱OOD检测仍旧有效等等。再次欢迎大家阅读我们的论文。

展望

我们希望OpenOOD的代码库、测试器、排行榜、基准数据集以及详实的测试结果能够汇集各路研究人员的力量一起来推动领域发展。十分期待大家使用OpenOOD进行OOD检测的开发、测试。

我们也欢迎任意形式的对OpenOOD的贡献，包括但不限于提出反馈，将最新的方法添加到OpenOOD代码库和排行榜中，扩展未来版本OpenOOD等等。

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

参考资料：https://arxiv.org/abs/2306.09301

以上就是OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试的详细内容，更多请关注其它相关文章！

# 数量  # 家族网站建设游戏推荐  # 网站怎么找客户推广  # 都是  # 欢迎大家  # 未来  # 但在  # 开源  # 图中  # 检测方法  # 猫狗  # 一键  # 的是  # OpenOOD  # 性能  # 石家庄seo培训排名  # 莆田市网站优化推广电话  # 黄浦外贸网站建设  # 网站推广方式参数  # 最优企业网站优化公司  # 娄底网站优化公司在哪里  # seo文章兼职怎么样  # 珠海网站内容建设 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 【首发】首款“消化内镜手术机器人”进入临床尾声，ROBO医疗获数千万元A轮融资  “苏南 vs 苏北” AI 分胜负，娱乐性比较工具 EitherChoice 上线  AI进军债券交易，BondGPT来了！  电池比 Air 2S 大 20%，大疆 Air 3 无人机现身 FCC  午报 | 字节跳动要造机器人；东方甄选首次启动自有APP|直播|  AI数字人业务频频获点赞，谦寻积极引领示范作用  学而思推出AI第一课：基于自研大模型的AIGC课程  微软大牛加入ZOOM，AI人才大战打响  人工智能和神经网络有什么联系与区别？  码刻 | 48小时Hackathon，源码见证新生代AI创新的发生  AI成政客博弈工具，美国大选真假难辨，律师们的生意来了  全球首款AI裸眼3D平板 国产的售价破万  大模型的“黄金搭档”来了！腾讯云正式发布AI原生向量数据库，提供10亿级向量检索能力  看懂AI，找到增长新势能 | 笔记侠AI峰会等你来  马斯克发推讽刺人工智能，机器学习本质是统计？  人形机器人打开精密齿轮市场全新空间！受益上市公司梳理  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  零数科技CTO兰春嘉：区块链与人工智能的结合点在数据  行业首发「超级智绘」AI故事集，TCL实业推进AI技术应用  “一般智力”与工艺学批判是认识AI的重要入口 | 社会科学报  华为余承东表示：鸿蒙可能拥有强大的人工智能大模型能力  Meta发布"类人"AI图像创建模型，能解决多出手指等Bug  原小米 9 号员工李明打造全球首款 AI 安卓桌面机器人  Zoom远程会议应用：AI培训需经用户授权  DreamAvatar数字人使用教程  调研海尔智家：AI名，家电命？  “技术+实践+生态”三箭齐发，京东方抢占物联网高地  不止“文心一言”，消息称百度将推出全新 AI 对话软件“万话”  DragGAN开源三天Star量23k，这又来一个DragDiffusion  V社回应拒绝上架含 AI 生成内容的游戏：审核政策正在调整中  航拍无人机怎么选？大疆无人机盘点推荐  618京东3C数码趋势产品备受青睐 AR设备成交额同比增长15倍  选对AI智能写作软件，让创作游刃有余！  "探索Meta发布的Quest MR/VR视频录制与拍摄指南"  科技数码圈的新物种 乐天派桌面机器人 AI +安卓+机器人 首发价1799元  鹅厂机器狗抢起真狗「饭碗」！会撒欢儿做游戏，遛人也贼6  乐天派桌面机器人加入小米米家生态系统，实现与其他智能设备的互联  上新7款产品，美图继续“蹭”AI  世界人工智能大会中西部县域数字就业中心组团亮相  谷歌旗下 DeepMind 开发出 RoboCat AI 模型，能控制多种机器人执行一系列任务  DeepMind推惊世排序算法，C++库忙更新！  美图秀秀发布7款AI产品：支持用户创作、商业创作  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  当人工智能开始写高考作文？作家陈崇正、朱山坡谈文学与未来  李开复：未来几年，人工智能会革了所有人的命，除非你这么做  腾讯AI首次模拟拼接三星堆文物，工作取得阶段性的成果  AI立法迫在眉睫，如何看对行业影响？  抢占新赛道 加快机器人产业集聚发展  世界人工智能大会|“AI领航，共筑未来”高端保险论坛成功举办  海南科技职业大学第25届中国机器人及人工智能大赛海南赛区荣获一等奖等114项