ToolsAi

CV君 2025-10-07 15:32 江苏

性能炸裂，为事件相机运动估计开辟新道路！

大家好，今天想和大家聊一篇非常有意思的新工作，来自电子科技大学、香港科技大学和西南交通大学的研究者们，他们关注的是一个越来越火的领域——事件相机（Event Camera）。

这篇被 TPAMI 2025 录用的论文，标题为《Learning Efficient Meshflow and Optical Flow from Event Cameras》，不仅提出了一个全新的任务——基于事件的网格流估计（event-based meshflow estimation），还带来了一整套解决方案，包括一个大规模数据集和一个超高效的模型。

简单来说，事件相机是一种模仿生物眼睛工作原理的传感器，它不像传统相机那样固定频率曝光，而是只在像素亮度发生变化时才产生“事件”信号。这让它在处理高速运动和高动态范围场景时优势明显，不会产生运动模糊。而“Meshflow”则是一种稀疏的运动表示，它通过追踪网格顶点的位移来描述场景的动态，比计算每个像素运动的光流（Optical Flow）要高效得多。

作者们发现，虽然事件相机好处多多，但在 Meshflow 估计这个方向上，还存在两大难题：一是缺少专门的、带标注的数据集；二是事件数据本身密度不均的问题一直没得到很好的解决。

论文标题: Learning Efficient Meshflow and Optical Flow from Event Cameras
作者: Xinglong Luo, Ao Luo, Kunming Luo, Zhengning Wang, Ping Tan, Bing Zeng, Shuaicheng Liu
机构: 电子科技大学; 香港科技大学; 西南交通大学
论文地址: https://arxiv.org/abs/2510.04111
项目主页: https://github.com/boomluo02/EEMFlowPlus
代码仓库: https://github.com/boomluo02/EEMFlowPlus
录用信息: Accepted by TPAMI 2025

面对这些挑战，作者们可以说是“从无到有”地搭建了一套研究框架。

挑战与动机：为何需要新的数据集和方法？

事件相机虽然强大，但不同设备、不同场景下采集到的事件数据，其“密度”——即事件点的数量和分布——千差万别。如下图所示，现有的几个真实世界数据集（240C, MVSEC, DSEC, EventVOT）的事件密度分布几乎没有重叠，分辨率也各不相同，这给模型的泛化能力带来了巨大挑战。

此外，当时领域内还没有专门为 Meshflow 任务设计的大规模事件数据集，这极大地限制了相关研究的展开。

HREM/HREM+：首个大规模事件Meshflow数据集

为了解决数据荒的问题，作者首先构建了一个大规模、高分辨率（1280x720）的事件Meshflow数据集，命名为 HREM (High-Resolution Event Meshflow)。

上图展示了整个数据生成流程。他们从3D场景和相机参数出发，生成高帧率视频和密集的光流，然后通过事件模拟器生成事件数据，并最终处理得到作为基准真相（Ground Truth）的 Meshflow 标签。

为了让大家更直观地理解，上图展示了从密集光流生成稀疏 Meshflow 的过程，通过对网格顶点的运动进行中值滤波，最终得到平滑且鲁棒的运动场。

相比之前的同类数据集，HREM 的优势非常明显：

不仅如此，为了研究事件密度对模型性能的影响，作者还将 HREM 扩展为 HREM+ ，这是一个多密度事件数据集，为模型的鲁棒性研究提供了宝贵的资源。

HREM+ 数据集中不同密度的事件数据可视化

EEMFlow：轻量且高效的事件Meshflow网络

有了数据，接下来就是模型了。作者提出了一个名为 EEMFlow (Efficient Event-based MeshFlow) 的轻量级网络。

这是一个精心设计的编码器-解码器架构，输入是两个时间窗口内的事件体素网格（Voxel Grid），输出是预测的 Meshflow。它通过金字塔编码器提取多尺度特征，并利用扩张特征相关性（Dilated Feature Correlation）来计算代价空间（Cost Volume），最终由解码器输出结果。整个设计兼顾了速度和精度。