电话咨询

电话咨询:010-62607600

微信咨询

微信扫码

CVPR冠军方案分享 | 如何提高低分辨率高噪声监控场景下视频行为的识别能力?

公司资讯 发布时间:2021-09-08 15:32:31 作者:wangyx

近日,全球三大计算机视觉顶级会议之一CVPR如期举行,深兰科技DeepBlueAI团队斩获TinyAction Challenge(低分辨率视频行为识别挑战赛)的冠军。

image.png

TinyAction Challenge是第六届动作识别国际挑战赛系列竞赛之一,该系列竞赛由CVPR2021 International Challenge on Activity Recognition (ActivityNet) workshop 主办,旨在推动视频理解的进一步发展。

值得一提的是,深兰科技不仅连续三次问鼎CVPR,更是凭借其高超的技术水平,在其他众多国际顶级大赛中一骑绝尘,至今已在ICCV,ECCV,NeurIPS,KDD,ACL,NAACL等大赛中包揽多项冠军。

赛题介绍

TinyAction Challenge使用TinyVirat-v2[1]数据集,旨在提高低分辨率高噪声等真实监控场景下的视频行为识别能力。比赛提供大量真实场景视频片段及标注,每个视频片段中可能含有多个动作,本质是一个多标签的行为识别任务,比赛结果采用precision,recall, F1-score等多个指标来评测。

image.png

赛题难点

1.视频分辨率很低,最小只有10x10像素尺度;
2.视频尺度多样,从10x10到128x128不等;
3.视频质量较差,含有大量噪声;
4.视频场景多样,行为多样,每个视频可能含有多个行为。

解决方案

在算法选择上,我们广泛尝试了TSM[2],TPN-Slowonly[3]等经典算法,最终采用交互移除的CSN4模型,在保证性能的前提下适当减少计算量,同时减轻对数据的过拟合。

数据增强方面,训练时我们首先随机调整尺度裁剪再统一调整尺度到128x128,最后再随机翻转。而在测试时,通过Tencrop, 即对视频帧及其水平翻转在中心与四角区域分别裁剪求平均,我们有效提高了inference时单模型性能。

image.png

测试阶段我们进一步使用了五折交叉验证的模型融合方法。另外我们观察到在比赛数据集的26类行为中有些类别是互斥的,因而对最终的结果添加了后处理规则,使得F1指标进一步提高0.6个点。通过一步步优化,我们单模型的F1指标即超过了第二名达到0.4447,并最终达到0.4782实现大幅领先。

image.png

总结

在本次比赛中,我们对任务及数据做了仔细的分析,合理地选择了模型算法,进行了精细的模型训练,同时在数据的后处理上做了大量的优化,有效实现了低分辨率高噪声视频中行为识别,并最终获得冠军。相信随着计算机视觉及多模态技术的深入发展,行为识别等视频理解问题能够得到更好的解决并获得越来越广泛的实际应用。

深延科技智能监控平台依托于成熟的计算机视觉与视频分析技术,自动检测异常行为的发生,高效满足客户多功能、多场景的业务需求。

智能监控中的行为识别技术能很好弥补纯人为捕捉信息的缺陷,依靠算法技术能够使视频内容识别更加精准,更加全面,从而提高信息收集效率,降低运作成本。

行为识别指的是让机器从一个未知视频或图像序列中自动分析其中正在进行的行为。简单来说就是智能识别出哪些对象、在什么时刻、什么地方、发生什么事情。深延科技充分利用自身独特的技术路径,通过行为识别的技术对场景实时跟踪、识别分析,并以最快时间达到对突发性事件的警报,目前已应用于工地、交通、工厂等场景,主动识别行为,最大限度地曝光异常行为。

image.png

image.png

深延智能监控平台页面

立即使用深延AI平台