神经网络利用基于物理的计算实现更快、更清晰的图像恢复

荧光显微镜使研究人员能够研究复杂生物样品中的特定结构。然而，使用荧光探针创建的图像会受到模糊和背景噪声的影响。NIBIB研究人员及其合作者的最新工作介绍了几种新颖的图像恢复策略，这些策略可以显著减少处理时间和计算能力，生成清晰的图像。这项研究发表在自然方法．

现代图像处理的基石是人工智能的使用，最显著的是神经网络使用深度学习消除模糊和背景噪音在图像中。基本的策略是教深度学习网络来预测一个模糊的，有噪声的图像在没有模糊和噪声的情况下会是什么样子。网络必须经过训练，才能处理由相同图像的清晰和模糊版本组成的大型数据集。使用神经网络的一个重要障碍是创建大型训练数据集所需的时间和费用。

在使用神经网络之前，图像是被清理的——这被称为反卷积使用方程。理查森-露西反褶积(RLD)使用一个方程，利用显微镜引入的模糊知识来清除图像。通过该方程对图像进行反复处理，进一步改善图像。每次通过这个方程被称为一次迭代，需要多次迭代来创建一个清晰的图像。通过多次迭代运行映像所花费的资源和时间是RLD方法的一个主要缺点。

RLD被认为是物理驱动的，因为它描述了物理性质会导致图像的模糊和噪声。据说神经网络是数据驱动的，因为它们必须查看大量的图像(数据)来了解是什么构成了模糊或清晰的图像。NIBIB团队试图利用每种方法的优点，并通过结合它们来减少它们的缺点。结果是神经网络它也使用rld - Richardson-Lucy网络(RLN)。

根据设计，神经网络检测匹配对中的特征，这将帮助它学习如何使模糊图像清晰。有趣的是，设计这些网络的科学家们通常并不知道网络用来完成这一壮举的具体特性。已知的是，网络检测到的特征至少部分基于显微镜的物理特性，因此可以用方程表示。

该团队开发了一种训练方案，将类似rld的方程加入到神经网络中，添加有关扭曲图像的物理属性的信息。最有用的方程式是通过网络循环使用的——加速学习的过程．因此，将RLD的迭代方程构建到神经网络中，生成RLN。

“我们认为这种方法是“引导”神经网络的学习过程，”该研究的资深作者吴义聪博士解释说。“简单地说，这种指导帮助网络更快地学习。”

对蠕虫胚胎图像的测试表明，RLN改善了训练和处理时间与目前使用的其他深度学习程序相比。使用RLN训练网络所需的参数数量从数百万急剧减少到20,000以下。获得清晰的胚胎图像的处理时间也大大缩短了，与其他流行的神经网络相比，RLN只需要几秒钟就可以处理一张图像，而使用其他神经网络则需要20秒到几分钟。

尽管RLN加速了训练过程，但训练网络所需的模糊和清晰图像数据集很难获得或从头创建。为了解决这个问题，研究人员反向运行RLD方程，快速创建用于训练的合成数据集。计算机生成的图像是由点、圆和球的混合生成的——称为混合合成数据。基于失焦细胞的测量，将模糊添加到合成图像中。背景噪声进一步添加，以创建计算机生成的合成形状的模糊、有噪声的图像。利用模糊合成混合形状对训练神经网络来恢复活细胞的真实图像。

实验表明，在合成数据上训练的RLN在生成失焦细胞的清晰图像方面优于RLD。令人印象深刻的是，RLN在图像中清除了许多RLD未能检测到的精细结构。

“我们利用合成数据训练神经网络的成功是非常令人兴奋的，”该研究的主要作者之一Hari Shroff博士解释说。“创建或获取用于训练的数据集一直是图像处理的一个巨大瓶颈。这项研究结果的结合——合成数据确实有效，特别是当与rln一起使用时——有可能开创我们正在大力追求的图像处理新时代。”

这个团队对工作的另一个方面非常兴奋。他们发现，为恢复特定对象的图像(如活细胞)而创建的合成数据集也能够恢复完全不同的图像(如人脑)的模糊图像。他们将此描述为综合训练的“普遍性”。该团队现在正在全速前进，看看这种通用性能在多大程度上加速生物研究高质量图像的创建。