最近的“人工智能”突破如何改变运动图像恢复

两年前,我们展示了将人工智能和机器学习应用于图像恢复的早期成果。 我们展示了人工智能的初步形式可以在自动检测和去除划痕方面提供的结果。 从那时起,人工智能领域不断取得重大突破,在运动图像序列的恢复和图像处理方面实现了一些真正具有变革性的新能力。

在本次演讲中,我们将讨论最新的人工智能突破(特别是在深度神经网络领域)的能力、它们在运动图像恢复方面的实际成果,以及未来的发展方向。 我们将重点介绍我们在以下应用领域使用人工智能的最新研究和成果:

– 除尘:当今的深度学习模型已将灰尘识别的可靠性提高了 30-50%,通过大幅减少手动修饰的需求,大大节省了成本。
– 帧插值:一种基于 AI 的新算法可以生成非常准确、完全合成的插值帧,可用于各种场景。 这些计算出的插值帧可用于替换完全丢失、严重撕裂或严重损坏的帧。 这些计算出的帧也可用作无缝替换原本良好的原始帧内的灰尘、污渍、划痕和霉菌的来源。 并且,插值帧甚至可以用于产生慢动作,或以其他方式重新定时序列。
– 视频去隔行扫描。 经过精心训练的深度神经网络现在在这个关键的视频修复步骤中提供了比以前的人工算法更好的视觉效果。 这提高了通过人工智能驱动的去隔行、细节增强的上调和音阶扩展,将标清视频片段重新利用为质量非常好的高清节目的可能性。
– 光学流(运动估计)。 准确地跟踪帧与帧之间移动的内容和位置,对于确定哪些图像特征不属于自己是至关重要的(这是修复的关键)。最近为压缩现代视频图像而开发的人工智能驱动的光学流方法已经取得了了不起的成果--更好地跟踪精细的细节,更好地识别物体的边界。 但是,这些人工智能方法在老电影上往往不太稳定,因为颗粒度高,而且有闪烁。 我们将回顾我们对不同的神经网络设计和调整方法的研究,以便在我们都发现的更困难的修复环境中利用这些新的光学流方法。

从更高的层面来看,我们将回顾在令人振奋的边缘计算世界中正在使用的一些协作方法,以及如何将它们应用于电影和视频修复。 如果我们作为一个社区能够像边缘计算社区那样进行协作,我们就可以大大加快机器学习的步伐,并推动数字修复算法的效率和力量得到更快的改善。

最后,我们将展示一种令人振奋的新的技术方法,通过所有这些人工智能成像技术的集体力量来进行修复。 这种新方法为今天的档案管理员提供了重要的新能力,既能提供历史上准确的修复,又能满足广播和流媒体对高质量、高度压缩的母版的需求,同时,只需极少的额外成本。

我们非常感谢巴特-桑特洛(Psychotropic Films)为网站录制和提供的介绍。