Detecting Frozen Video in Robot Datasets: Why First/Last Frame Comparison Isn't Enough

Описание и применение

В робототехнических наборах данных часто встречаются замороженные видео, которые не выявляются простым сравнением первых и последних кадров. Используя инструмент RDA с кросс‑валидацией действий, удалось точно обнаружить реальные заморозки и отличить их от нормального бездействия и ухудшения качества.

Задача

Robotics learning datasets often contain frozen video segments that are not detected by simple first/last frame comparison, leading to false positives and missed failures.

Результат

RDA flagged 6 frozen episodes in LIBERO (1.6%) and found no freezes in G1_WBT while correctly identifying degraded quality and idle periods, improving audit accuracy over naive methods.

Рабочий процесс

• Decode video to low‑res grayscale (64×64)
• Compute adaptive pixel‑difference threshold using noise floor
• Detect continuous frozen segments (≥0.5s)
• Cross‑validate with action data to confirm motion should have occurred

Доказательства

RDA’s video freeze detection works in four stages: ...

Источник

0 frozen segments detected across all camera streams

Источник