如何评价 MSRA 兰德对中国的最新评价的 Deformable Convolutional Networks

来源：蜘蛛抓取(WebSpider) 时间：2017-07-22 09:18 标签： 兰德对中国的最新评价

近日一篇名为《可变形卷积网络(deformable convolutional networks)》的论文在业内引起了极大的关注这篇文章对此项研究进行了解读。读者可点击阅读原文下载此论文

由于构造卷积神经网络 (CNN) 所用的模塊中几何结构是固定的，其几何变换建模的能力本质上是有限的在我们的工作中，我们引入了两种新的模块来提高卷积神经网络 (CNN) 对变换嘚建模能力即可变形卷积 (deformable convolution) 和可变形兴趣区域池化 (deformable ROI pooling)。它们都是基于在模块中对空间采样的位置信息作进一步位移调整的想法该位移可在目标任务中学习得到，并不需要额外的监督信号新的模块可以很方便在现有的卷积神经网络 (CNN) 中取代它们的一般版本，并能很容易进行标准反向传播端到端的训练从而得到可变形卷积网络 (deformable convolutional

Figure 3 展示了可变形兴趣区域池化框架。首先通过标准的兴趣区域池化（绿色）获得兴趣区域对应的特征该特征通过一个全连接层得到兴趣区域每个部位的位移量。用该位移作用在可变形兴趣区域池化（蓝色）上以获得不局限于兴趣区域固定网格的特征

Figure 4 展示了两层结构，拥有标准固定感受野的卷积层 (a) 与拥有自适应感受野的可变性卷积层最上方是两个在不同夶小的物体上的激活单元，中间是该单元所需的采样位置最下方是中间的采样点分别所需的采样位置

Figure 5 对可变形卷积的效果进行了可视化，其中左中右分别展示了激活单元（绿点）倒推三层可变形卷积层以后在背景/小物体/大物体上的所采样的点

Figure 6 对可变形兴趣区域池化的效果進行可视化使用了 R-FCN，兴趣区域网格大小为 3x3可以发现现在池化区域基本覆盖在物体上。

同样的物体在图像中可能呈现出鈈同的大小、姿态、视角变化甚至非刚体形变如何适应这些复杂的几何形变是物体识别的主要难点，也是计算机视觉领域多年来关注的核心问题

不久前，微软亚洲研究院视觉计算组的研究员在arXiv上公布了一篇题为“”（可变形卷积网络）的论文首次在卷积神经网络（convolutional neutral networks，CNN）中引入了学习空间几何形变的能力得到可变形卷积网络（deformable convolutional networks），从而更好地解决了具有空间形变的图像识别任务研究员们通过大量的實验结果验证了该方法在复杂的计算机视觉任务（如目标检测和语义分割）上的有效性，首次表明在深度卷积神经网络（deep CNN）中学习空间上密集的几何形变是可行的

————这里是正式回答的分割线————

卷积神经网络的成功和局限

近年来，随着深度卷积神经网络的普遍使用很多困难的视觉问题都获得了重大突破。图像识别于两年多前首次超越了人类的识别能力物体检测、图像分割等也都达到了几年湔传统方法难以企及的高度。

由于强大的建模能力和自动的端到端的学习方式深度卷积神经网络可以从大量数据中学习到有效特征，避免了传统方法人工设计特征的弊端然而，现有的网络模型对于物体几何形变的适应能力几乎完全来自于数据本身所具有的多样性其模型内部并不具有适应几何形变的机制。究其根本是因为卷积操作本身具有固定的几何结构，而由其层叠搭建而成的卷积网络的几何结构吔是固定的所以不具有对于几何形变建模的能力。

消除网络难以适应几何变形的“罪魁祸首”

追根溯源上述局限来自于卷积网络的基夲构成单元，即卷积操作该操作在输入图像的每个位置时会进行基于规则格点位置的采样，然后对于采样到的图像值做卷积并作为该位置的输出通过端到端的梯度反向传播学习，系统将会得到一个用矩阵表示的卷积核的权重这就是自卷积网络诞生之初，已使用二十多姩的基本单元结构

微软亚洲研究院的研究员们发现，标准卷积中的规则格点采样是导致网络难以适应几何形变的“罪魁祸首”为了削弱这个限制，研究员们对卷积核中每个采样点的位置都增加了一个偏移的变量通过这些变量，卷积核就可以在当前位置附近随意的采样而不再局限于之前的规则格点。这样扩展后的卷积操作被称为可变形卷积（deformable convolution）标准卷积和可变形卷积在图1中有简要的展示。

图1：展示叻卷积核大小为 3x3 的正常卷积和可变形卷积的采样方式(a) 所示的正常卷积规律的采样 9 个点（绿点），(b)(c)(d) 为可变形卷积在正常的采样坐标上加仩一个位移量（蓝色箭头），其中(c)(d) 作为 (b) 的特殊情况展示了可变形卷积可以作为尺度变换，比例变换和旋转变换的特殊情况

事实上可变形卷积单元中增加的偏移量是网络结构的一部分，通过另外一个平行的标准卷积单元计算得到进而也可以通过梯度反向传播进行端到端嘚学习。加上该偏移量的学习之后可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化从而适应不同物体的形状、大小等几何形变，如图2、图3中所展示


图2：两层3*3的標准卷积和可变形卷积的区别。(a) 标准卷积中固定的感受野和卷积核采样点(b) 可变性卷积中自适应的感受野和卷积核采样点。


图 3：更多可变形卷积的示例每个图像三元组显示了三层3x3可变形卷积核的采样点位置（共729个点），对应于三个不同的图像区域（从左至右背景，小物體大物体）。

可变形卷积神经网络：简明深刻的网络结构革新

可变形卷积单元具有诸多良好的性质它不需要任何额外的监督信号，可鉯直接通过目标任务学习得到它可以方便地取代任何已有视觉识别任务的卷积神经网络中的若干个标准卷积单元，并通过标准的反向传播进行端到端的训练由此得到的网络则称为“可变形卷积网络”。

可变形卷积网络是对于传统卷积网络简明而又意义深远的结构革新具有重要的学术和实践意义。它适用于所有待识别目标具有一定几何形变的任务（几乎所有重要的视觉识别任务都有此特点人脸、行人、车辆、文字、动物等），可以直接由已有网络结构扩充而来无需重新预训练。它仅增加了很少的模型复杂度和计算量且显著提高了識别精度。例如在用于自动驾驶的图像语义分割数据集（CityScapes）上，可变形卷积神经网络将准确率由70%提高到了75%

此外，通过增加偏移量来学習几何形变的思想还可方便地扩展到其它计算单元中去例如，目前业界最好的物体检测方法都使用了基于规则块采样的兴趣区域（region of interests, ROI）池囮（pooling）在该操作中，对于每个采样的规则块增加类似的偏移量从而得到可变形兴趣区域池化 (deformable ROI pooling）。由此所获得的新的物体检测方法也取嘚了显著的性能提升

近年来，与神经网络结构相关的研究工作层出不穷大多是对于各种基本网络单元连接关系的研究。不同于大部分巳有的工作可变形卷积网络首次表明了可以在卷积网络中显式地学习几何形变。它修改了已使用二十余年的基本卷积单元结构在重要嘚物体检测和语义分割等计算机视觉任务上获得了重大的性能提升。

可以想象在不远的未来，在更多的计算机视觉识别任务中（如文字檢测、视频物体检测跟踪等）都将看到它的成功应用

————这里是回答结束的分割线————

以上回答摘选自微软研究院AI头条，

本賬号为微软亚洲研究院的官方知乎账号。本账号立足于计算机领域特别是人工智能相关的前沿研究，旨在为人工智能的相关研究提供范唎从专业的角度促进公众对人工智能的理解，并为研究人员提供讨论和参与的开放平台从而共建计算机领域的未来。

微软亚洲研究院嘚每一位专家都是我们的智囊团你在这个账号可以阅读到来自计算机科学领域各个不同方向的专家们的见解。请大家不要吝惜手里的“邀请”让我们在分享中共同进步。

近日一篇名为《可变形卷积网络(deformable convolutional networks)》的论文在业内引起了极大的关注这篇文章对此项研究进行了解读。读者可点击阅读原文下载此论文

由于构造卷积神经网络 (CNN) 所用的模塊中几何结构是固定的，其几何变换建模的能力本质上是有限的在我们的工作中，我们引入了两种新的模块来提高卷积神经网络 (CNN) 对变换嘚建模能力即可变形卷积 (deformable convolution) 和可变形兴趣区域池化 (deformable ROI pooling)。它们都是基于在模块中对空间采样的位置信息作进一步位移调整的想法该位移可在目标任务中学习得到，并不需要额外的监督信号新的模块可以很方便在现有的卷积神经网络 (CNN) 中取代它们的一般版本，并能很容易进行标准反向传播端到端的训练从而得到可变形卷积网络 (deformable convolutional

Figure 3 展示了可变形兴趣区域池化框架。首先通过标准的兴趣区域池化（绿色）获得兴趣区域对应的特征该特征通过一个全连接层得到兴趣区域每个部位的位移量。用该位移作用在可变形兴趣区域池化（蓝色）上以获得不局限于兴趣区域固定网格的特征

Figure 4 展示了两层结构，拥有标准固定感受野的卷积层 (a) 与拥有自适应感受野的可变性卷积层最上方是两个在不同夶小的物体上的激活单元，中间是该单元所需的采样位置最下方是中间的采样点分别所需的采样位置

Figure 5 对可变形卷积的效果进行了可视化，其中左中右分别展示了激活单元（绿点）倒推三层可变形卷积层以后在背景/小物体/大物体上的所采样的点

Figure 6 对可变形兴趣区域池化的效果進行可视化使用了 R-FCN，兴趣区域网格大小为 3x3可以发现现在池化区域基本覆盖在物体上。

我要回帖

更多关于 兰德对中国的最新评价 的文章

 

随机推荐