CVPR 2024:中科视语领跑工业大模型,工业混合专家模型再夺桂冠
近日,在全球权威的CVPR 2024视觉异常检测和创新性检测挑战赛中,中科视语AI团队提交的“少量样本异常检测使用专家混合模型”以0.818的出色成绩,从全球17个国家和地区,百余支顶尖AI团队中脱颖而出,摘下桂冠。这再次展现了中科视语在工业大模型领域的雄厚实力。
随着大模型技术的发展,技术先进性和性能卓越性的要求更加苛刻,中科视语持续坚定、专注投入大模型研发,深入磨炼“内功”,建立技术壁垒,夯实技术优势,正是凭借中科视语深厚的技术积淀和长期积累的市场经验,视语坤川工业大模型核心技术连续多次取得国际领先的成果。本次获奖,是继登顶2019 VideoNet视频内容识别挑战赛、2022道路损坏检测世界竞赛桂冠后的又一里程碑,这标志着中科视语在少样本逻辑/结构异常检测技术上取得了新的突破。也正是凭借持续的技术革新,中科视语在工业大模型领域积累了显著的竞争优势。
2024计算机视觉领域的顶级学术会议CVPR,是由IEEE计算机协会和计算机视觉基金会(Computer Vision Foundation,CVF)共同主办,是一年一度的全球计算机视觉领域与模式识别领域最顶尖的学术会议。其与ECCV(European Conference on Computer Vision)、ICCV(IEEE/CVF International Conference on Computer Vision)一起并称为计算机视觉领域的三大最高级别的顶级会议。
面对日益激烈的市场竞争和不断变化的技术环境,中科视语始终保持前瞻性思维和创新精神。为了高效节约成本并提高效率,我们持续更新迭代,在xx的基础上,采用了前沿的Mixture of Experts(MoE)架构。MoE架构的核心优势是旨在通过模块化的方式降低更多的成本,实现更大的推理规模和更快的推理速度。这一创新架构使我们在市场化竞争中更具优势。
MoE架构将复杂任务分解为多个子任务,由不同的“专家”模块并行处理。这种分工合作的方式不仅提高了处理效率,还实现了更精准的模型预测。通过降低冗余计算和资源消耗,我们能够以更低的成本实现更高的性能,从而在市场上形成更有优势的竞争地位。
图 1 中科视语AI团队斩获少样本逻辑/结构异常检测赛道(VAND 2.0)赛道第一名
少样本工业异常检测比赛VAND2.0
从飞机火车到螺丝螺母,工业产品在我们的生活中无处不在。为了保证这些产品能够正常发挥其功能,避免安全事故,在生产过程中进行异常检测是极为必要的。近年来,随着计算机视觉技术的飞速发展,基于深度学习的工业异常检测方法层出不穷,成为学术和工业界的研究热点。因此,CVPR会议连续两年举办VAND挑战赛,鼓励研究者进一步探索工业异常检测的有效方法。
本次VAND比赛分为两个赛道:
1.Adapt & Detect: Robust Anomaly Detection in Real-World Applications
2. VLM Anomaly Challenge: Few-Shot Learning for Logical and Structural Detection
研究团队参加的是第二个赛道,重点研究基于多模态模型的少样本逻辑和结构异常检测方法。比赛使用的数据集将常见的异常分为结构异常和逻辑异常两类。结构异常指的是诸如破损、划痕这种在正常样本上不会出现的异常情况;逻辑异常则指正常物品的错误组合。例如,每个塑料袋中应该包含一长一短两个螺丝钉、两个螺母、两个垫片。然而,在逻辑异常样本中,可能包含三个螺母,这类异常难以通过简单比对来判断,需要使用新的异常检测方式。
此外,赛道二在少样本设置下进行异常检测,即要求模型在训练期间从未见过来自测试数据集中的任何正常样本,只在推理期间提供少量正常样本以供参考,这要求方法具有较高的迁移能力。
图 2 正常样本、结构异常和逻辑异常示意图
图 3 研究团队在 CVPR 2024 的演讲汇报
图 4 研究团队在 CVPR 2024 的展示海报
基于混合专家模型的少样本异常检测方法AnomalyMoE
为了高效检测出不同类别的异常,研究团队提出了混合专家模型AnomalyMoE,充分发挥不同类型的异常检测方法的优势,使用 4 个不同的异常检测专家模型:图文异常检测专家模型,全局异常检测专家模型,子部分异常检测专家模型,图像块异常检测专家模型,并结合这四个专家模型的打分结果以得到最后的异常分数。
图 5 AnomalyMoE 结构图
图文异常检测专家模型FiLo
图文异常检测专家模型方面,研究团队主要使用了自己之前的工作FiLo [1],FiLo 创新性地使用大语言模型来为每一类物品生成其可能出现的异常种类,并使用可学习的文本向量来取代人工编写的文本模板,减少了工作量,提高了异常检测性能,并能够通过与图像特征最相似的文本描述内容来判断样品上的具体异常类型,提高了模型决策的可解释性。
全局异常检测专家模型
全局异常检测方面,研究团队使用视觉-文本多模态大模型CLIP提取图像全局特征,将测试样本的全局特征与少量正常样本的全局特征进行比较,根据与正常样本的相似度来判断图像中是否有异常。图文异常检测专家模型和全局异常检测专家模型在检测全局逻辑异常方面具有明显优势。
子部分异常检测专家模型
通过将图像分为多个子部分,异常检测方法能够方便统计每个子部分中的面积、数量、颜色,从而方便判断样本中的每个部分是否为异常。研究团队使用子部分异常检测专家模型,通过 DINO提取特征再聚类的方式得到每一个子部分的掩码,然后进行检测。子部分异常检测专家模型对于局部逻辑异常,如上文提到的螺母的新增、缺失等,具有良好的检测效果。
图像块异常检测专家模型AnomalyGPT
图像块异常检测专家模型通过比较测试图像的每个图像块和正常图像的每个图像块的内容,判断每个图像块是否为异常。在图像块异常检测专家模型的实现上,研究团队主要使用了他们在 AAAI 2024上发表的方法 AnomalyGPT [2],使用大语言模型实现工业异常检测,在少样本异常检测方面具有显著效果。
MoE架构的引入是中科视语技术创新之路上的又一重要里程碑。它不仅体现了我们对技术进步的不懈追求,也展示了我们在实现技术可持续发展和落地方面的坚定决心。未来,我们将继续探索和利用前沿技术,为客户提供更优质的服务,为社会创造更多的价值。
参考文献:
[1]Gu, Z., Zhu, B., Zhu, G., Chen, Y., Li, H., Tang, M., & Wang, J. (2024). FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization. arXiv preprint arXiv:2404.13671.
[2]Gu, Z., Zhu, B., Zhu, G., Chen, Y., Tang, M., & Wang, J. (2024, March). Anomalygpt: Detecting industrial anomalies using large vision-language models. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 38, No. 3, pp.1932-1940).
- 曝光四川点亮饰界建筑装饰材料有限公司全屋整装将精致与优雅贯彻到底
- 智领未来实验 数据驱动科研 | 亚加达首次亮相CHIMA盛会
- 作为液压设备行业的专业网站
- 高质量!节卡机器人再获上海市重点产品质量攻关成果一等奖
- 智能化管理数字石油钻井平台—— 在大漠戈壁结出绿色、高效钻井硕果
- 肿瘤克星中医-晏合桢
- 《烈焰》炙热收官 宋文作精彩演绎全剧唯一人间清醒脑
- 据说这是 死都不能让闺蜜先用的面膜“FILTERS滤镜之谜”面膜
- Capital.com的客户交易量在2023年超过了1万亿美元
- 中国黑莓采摘节发起者——创始人施佳能
- Hartree Partners (UK) Ltd.收购生物甲烷专家Botres Holding GmbH 50%的股份
- 菳禾智能语音宣传杆:全天候森林防火宣传利器
- instagram引流新方式:群发助手助你打破传统引流方法!
- 给力!浪潮卓数大数据获“数据要素×行业应用创新大会”三项大奖
- 太阳镜排名前十的牌子,松浦川、凯特佳、mikibobo市场口碑好
- 千寻位置“云芯一体”设备接入量破千万,全面开放“三体”能力赋能合作伙伴
- 中国健康传播大使、企业精英 ——董科发
- 好好对待五脏,从五色养生开始,草津堂双菇五色粉
- 对话张亚丽:构建足力健老人鞋在年轻用户心中的品牌价值
- 陕西平利:2024天书峡景区“五一”开园音乐盛典成功举办
- 张永志专栏 | 在行业大整合的新周期,顾家家居强势营销映射行业三大变局
- 国家一级美术家——邹汉伦作品欣赏
- WS协议号自动注册,WhatsApp一码一IP注册工具震撼发布!
- Banle Energy International Limited Partnered with Cargill to participate in the successful full-lade
- 舒淇春风拂面登ELLE开季封面,揭密松弛女王的“情绪转移法”
- PUBG经典艾伦格即将回归,不要错过预约噢!
- 紫荆花旗下品牌漆美丽荣获2023中国美缝行业优秀品牌奖!
- 爱可声助听器参与一带一路助听项目助力澜湄地区听力语言康复
- 笔墨蕴情·艺德纯真——书法名家魏廷邦百家媒体聚焦报道
- 石聚彬:培育食品工业新质生产力,以“三新三品”构建健康食品产业体系
推荐
- 大家一起关注新疆乌什7.1级地震救援见闻 看到热气腾腾的抓饭马上就要出锅、村里大家 资讯
- 男子“机闹”后航班取消,同机旅客准备集体起诉 1月4日,一男子大闹飞机致航班取消的新闻登上 资讯
- 周星驰新片《少林女足》在台湾省举办海选,吸引了不少素人和足球爱好者前来参加 周星驰新片《少林女足》在台湾省举办海选,吸 资讯
- 产业数字化 为何需要一朵实体云? 改革开放前,国内供应链主要依靠指标拉动,其逻 资讯
- 奥运冠军刘翔更新社交账号晒出近照 时隔473天更新动态! 2月20日凌晨2点,奥运冠军刘翔更新社交账号晒 资讯
- 国足13次出战亚洲杯首次小组赛0进球 北京时间1月23日消息,2023亚洲杯小组 资讯
- 海南大学生返校机票贵 有什么好的解决办法吗? 近日,有网友在“人民网领导留言板&rdqu 资讯
- 新增供热能力3200万平方米 新疆最大热电联产项目开工 昨天(26日),新疆最大的热电联产项目—&md 资讯
- 抖音直播“新红人”进攻本地生活领域 不难看出,抖音本地生活正借由直播向本地生活 资讯
- 王自如被强制执行3383万 据中国执行信息公开网消息,近期,王自如新增一 资讯