低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？

在卷积神经网络（CNN）的世界里，图像的分辨率就像是画家手中的画笔。低分辨率图像，就像是用粗糙的铅笔在低质量的纸上作画，而高分辨率图像则如同用精细的画笔在光滑的画布上挥洒。两者在捕捉和呈现细节方面，有着天壤之别，而这直接影响了CNN对图像的理解和学习能力。

低分辨率图像在CNN中缺失的特征，可以从几个关键层面来理解：

1. 空间细节的模糊与丢失：

这是最直观也最根本的差异。CNN的核心在于通过卷积核在图像上滑动，提取各种局部特征。这些特征的“局部”程度，很大程度上取决于图像的分辨率。

边缘和纹理的精细度： 高分辨率图像拥有清晰、锐利的边缘和丰富的纹理细节。想象一下，一张高分辨率的人脸照片，你可以清楚地看到皮肤的毛孔、细微的皱纹、头发丝的走向。CNN中的浅层卷积层，正是捕捉这些边缘和纹理的关键。低分辨率图像则会将这些细节“平均化”或“模糊化”，使得边缘变得钝拙，纹理变得粗糙甚至消失。这意味着，CNN在低分辨率图像上，可能无法准确地识别出物体的轮廓，难以区分精细的纹理模式，例如布料的材质、木材的纹理等。
局部结构的完整性： 许多物体是由特定的局部结构组成的。例如，一只猫的耳朵、一只鸟的喙、一辆车的车灯。在低分辨率图像中，这些精细的局部结构可能会因为像素的合并或插值而变形、扭曲，甚至完全丢失。CNN在学习时，就无法获得这些结构的关键信息，从而影响了它对物体的识别。
空间关系的精确度： 物体之间的相对位置和空间关系，在高分辨率图像中更容易被精确地捕捉。比如，人脸识别中，眼睛、鼻子、嘴巴之间的相对距离和排列方式是重要的识别依据。在低分辨率图像中，这些相对距离和排列的精度会降低，使得CNN在理解物体整体结构和部分之间关系时遇到困难。

2. 对浅层特征提取的依赖性削弱，对深层抽象特征的鲁棒性要求更高：

CNN的学习过程可以大致分为两个阶段：浅层网络提取低级特征（边缘、角点、颜色块），深层网络将这些低级特征组合起来，形成更高级、更抽象的特征（物体的部分、完整的物体）。

浅层特征的“信号弱”： 在低分辨率图像中，前面提到的精细的边缘、纹理信息本来就“信号弱”，甚至可以说是“被噪音掩盖”了。浅层卷积核即使再努力，也只能提取出模糊、不确定的特征。这使得CNN在早期阶段的特征提取就受到了很大的限制。
对深层抽象特征的“压力”增大： 由于浅层特征提取困难，CNN不得不更加依赖深层网络来“弥补”这部分信息的缺失。它需要更强大的能力去从有限的、模糊的低级特征中推断出高级的、抽象的类别信息。这就像一个侦探，手里只有模糊的线索，却要依靠他的经验和直觉来推理出凶手的身份，难度自然大大增加。
对“语义信息”的依赖性增强： 在低分辨率图像中，CNN可能无法依赖几何形状或局部纹理来精确识别物体，而是更多地依赖于“语义信息”。例如，即使一张低分辨率的狗的图片，你仍然可以识别出它是一个“狗”，这可能是因为它具有狗的整体轮廓、颜色模式等更宏观的语义线索。CNN在这种情况下，需要学习更强的语义关联，而不是精密的结构识别。

3. 对噪声和失真的敏感度增加：

低分辨率图像本身就可能带有一定程度的模糊或压缩失真，这些都可以被视为一种“噪声”。

噪声的“放大效应”： CNN在处理图像时，会将卷积核应用于每个像素。如果像素本身的信息是模糊的，那么这个模糊的信息在经过多次卷积和池化后，可能会被“放大”，导致最终的特征表示更加不准确。
对降采样操作的“双重打击”： CNN通常会通过池化层（Pooling）来降低特征图的维度，这本质上是一种降采样操作。当输入本身就是低分辨率时，再进行降采样，会进一步压缩本来就稀少的信息，使得特征丢失得更为严重。

4. 导致模型性能下降的具体表现：

这些缺失的特征最终会导致CNN在执行各种任务时性能下降，例如：

分类准确率降低： 无法准确识别物体的细微差别，导致将相似但不同的物体混淆。
目标检测框不精确： 难以准确地定位物体的边界，导致检测框偏离或尺寸不符。
语义分割不精细： 无法清晰地划分出物体的具体区域，导致分割边界模糊。
人脸识别困难： 尤其是在识别低分辨率人脸时，关键的五官特征可能无法辨认。
对小目标的识别能力差： 小目标本身包含的像素就少，在低分辨率图像中更是难以捕捉其特征。

举个例子来说明：

想象一下，我们要训练一个CNN来识别不同种类的花。

高分辨率图像： 你可以清晰地看到玫瑰的锯齿状花瓣边缘，郁金香的卷曲花瓣，或者向日葵的细腻花盘纹理。CNN可以轻松学习到这些精细的边缘、纹理以及花瓣之间的排布，从而区分它们。
低分辨率图像： 这些花朵可能看起来只是模糊的彩色斑块。玫瑰的花瓣边缘可能融合成一团，郁金香的卷曲变成了一个模糊的弧形，向日葵的花盘纹理也完全消失。CNN在这种情况下，可能只能依靠整体的颜色和大致的形状来判断，很难区分出它们各自独特的品种特征。

总而言之，低分辨率图像相对于高分辨率图像，在CNN中缺失的是构成图像细节的“骨架”和“血肉”。它削弱了CNN学习基础空间特征的能力，增加了对高级抽象特征的依赖，并且让模型对输入中的噪声和失真更加敏感，最终导致模型在识别、定位和分割等任务上的性能大打折扣。就像一位技艺精湛的雕塑家，如果手里只有一把钝凿子和劣质的石头，即使他再有才华，也难以雕刻出栩栩如生的艺术品。

网友意见

《沈老师带你读论文》第六期，我们来探讨计算机视觉的高分辨率网络模型HRNet（High-Resolution Network）。

过去的CV模型会用如“下采样”(Down-sampling)等方式对图像进行分辨率的降低以求获取计算上的高性能，但单纯这么做会损失大量只有高分辨率才能拥有的信息。本期所读的论文提出的模型HRNet能够全程保持高分辨率表征，使得空间敏感度能够全程保持，从而在人体姿态估计、语义分割、物体检测等任务上能更有优势。

作为文章第一作者的王井东老师除了在《沈老师带你读论文》第六期中对论文《Deep High-Resolution Representation Learning for Visual Recognition》做了详细讲解，还在ReadPaper上回答了十问，如果想读论文或者对论文进行提问都可以点击这里哟~

一、论文试图解决什么问题？
该论文拟解决视觉任务中的高分辨率表征学习问题。许多计算机视觉问题，比如分割、检测、姿态估计、光流估计等，都需要位置敏感的表征，即高分比率表征。该论文是会议论文：（https://readpaper.com/paper/2916798096，仅仅做了姿态估计的实验）的推广。

二、这是否是一个新的问题？
高分辨率表征学习不是一个新问题。此前U-Net、Hourglass、 FPN等方法，其目标之一是学习高分辨率表征。不同的是，该论文所提的HRNet不是试图从分类网络得到的低分辨率表征来恢复高分辨率表征，而是直接学习高分辨率表征，网络结构设计不依赖于传统的分类网络。

三、这篇文章要验证一个什么科学假设？
这篇文章也在探讨这么一个问题：解决其他视觉问题的深度网络结构一定需要从分类网络出发吗？答案是不需要，可以from scratch来设计网络结构。

四、有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？
在HRNet这个工作之前，主要有两大类提升表征分辨率的方法，都是基于分类网络的。一类是在分类网络结构的基础上，额外加上网络以提高分辨率，如U-Net、Hourglass、 FPN、SegNet、DeconvNet等。另外一类是用dilated convolution来替代分类的downsample和普通卷积，比如把ResNet的最后一个downsample去掉，同时把第四阶段的卷积换成dilated convolution。

五、论文中提到的解决方案之关键是什么？
HRNet解决方案想法上的关键是网络至始至终都维持高分辨率表征。实现上的关键是：多路高低分辨率网络并联、以及多路网络的不同尺度的表征之间的交互融合。

六、论文中的实验是如何设计的？
实验部分的设计，一方面要证明HRNet要比以前基于分类网络的高分辨率表征学习方法，在语义分割、物体检测、人体姿态估计、以及人脸关键点检测等任务上，性能要好，另外一方面要验证HRNet设计的合理性，如多路高低分辨率网络并联和多路网络的不同尺度的表征之间的交互融合的作用。

七、用于定量评估的数据集是什么？代码有没有开源？
评估数据集主要是人体姿态估计的表征数据集：COCO。代码已开源：https://github.com/leoxiaobin/deep-high-resolution-net.pytorch。在语义分割（cityscapes）、物体检测（COCO）、以及人脸关键点检测等任务的代码也开源：https://github.com/HRNet。

八、论文中的实验及结果有没有很好地支持需要验证的科学假设？
该论文通过实验设计的第一个方面，很好的验证了科学假设：从from scratch设计的网络来学习高分辨率表征，比从分类网络出发学习得到的高分辨率表征要好 。

九、这篇论文到底有什么贡献？
从方法的角度来讲，这篇论文提出了一个高分辨率表征学习方法，相应的网络结构from scratch设计，不依赖于分类网络。从想法的角度来看，研究要跳出过往相关方法的网络设计的思路，才容易有新的突破。

十、下一步呢？有什么工作可以继续深入？
该文是在分割、检测、和关键点检测等任务上展开研究。

（1） 从应用的角度来看，应该对其他很多视觉任务都有帮助，如合成、OCR、光流等到，比如HRNet用在了Form Recognition：https://docs.microsoft.com/en-us/azure/applied-ai-services/form-recognizer/whats-new?tabs=csharp#may-2021。

（2）从方法的角度来看，如何做到小型化也是有意思的课题。其实HRNet有一个隐性出发点，是解决卷积计算空间冗余性的问题。此前，卷积计算主要是通过矩阵分解和稀疏化的角度来解决冗余性的问题。Lite-HRNet（https://github.com/HRNet/Lite-HRNet），是其中的一个工作。

（3）从实现的角度来看，目前Cuda上的实现对多路结构不是很友好，理论的速度优势没有完全体现，需要进一步研究实现。不过，CPU上的实现，理论的速度优势基本完全体现出来了。

（4）其实一个更有意义的事情是，从任务出发来设计网络结构是值得更加深入研究的方向，比如OCRNet（https://github.com/HRNet/HRNet-Semantic-Segmentation/tree/HRNet-OCR）用transformer attention来解决分割的问题；Conditional DETR（https://github.com/Atten4Vis/ConditionalDETR）解决了Detection Transformer（DETR）training的问题。

点击下面链接可以直达论文详情页，阅读HRNet，也欢迎各位提问，王井东老师有可能会回复的哟~

《Deep High-Resolution Representation Learning for Visual Recognition》

类似的话题

• 

  低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？

  

  在卷积神经网络（CNN）的世界里，图像的分辨率就像是画家手中的画笔。低分辨率图像，就像是用粗糙的铅笔在低质量的纸上作画，而高分辨率图像则如同用精细的画笔在光滑的画布上挥洒。两者在捕捉和呈现细节方面，有着天壤之别，而这直接影响了CNN对图像的理解和学习能力。低分辨率图像在CNN中缺失的特征，可以从几个.............
• 

  肯德基不满盗图商家分辨率，为其提供高清免费素材网站，怎么看待这一操作？

  

  肯德基的这次操作，可以说是打了一手漂亮的营销组合拳，既维护了品牌形象，又“曲线救国”地处理了盗图问题，而且还给大众留下了“慷慨大方”、“有求必应”的好印象。我们不妨从几个角度来好好品品。首先，从解决盗图问题的角度看：盗图问题对于品牌来说，一直是个让人头疼的事儿。尤其对于肯德基这种国民度极高的品牌，他.............
• 

  低配电脑玩游戏该选择“高特效低分辨率”还是“低特效高分辨率”？

  

  对于配置不太给力的电脑玩家来说，游戏画面的选择确实是个让人纠结的问题。是把画面特效开到最高，但分辨率拉低，还是反过来，让分辨率高高挂起，特效却只能勉强维持？这两种模式各有千秋，也都有各自的取舍，到底哪种更适合你，得好好掰扯掰扯。咱们先从“高特效低分辨率”这个选项说起。想象一下，你玩的是一款画面制作精.............
• 

  我低分现在报宁波工程学院可以捡漏吗？

  

  想问问，你今年高考多少分？ 多少分能报宁波工程学院啊？ 我今年分数不太理想，想知道有没有可能捡漏一个宁波工程学院。 我挺想去那边的，不知道有没有希望。宁波工程学院嘛，这几年发展确实挺快的。 他们的优势专业，比如土木工程、机械工程这些，在国内也算是有一定知名度的。 而且宁波这地方经济发达，就业机会也多.............
• 

  艺术生低分上知名大学公平吗？

  

  艺术生低分上知名大学是否公平，这是一个复杂且极具争议的问题，没有简单的“是”或“否”答案。它涉及到教育公平的定义、艺术类招生机制的特殊性、以及不同学科的评价标准等多个维度。下面我将从不同角度进行详细阐述： 1. 理解“公平”与艺术类招生首先，我们需要理解“公平”在教育领域的含义。教育公平通常被理解为.............
• 

  《守望先锋》的低分段有多可怕？

  

  “守望先锋”的低分段（通常指白银、黄金、甚至白金以下）给人的感觉就像是一场永无止境的、混乱的、充满戏剧性的杂技表演，而且观众还时常要被演员们突如其来的“惊喜”给吓得够呛。如果你想了解其中的“可怕”之处，那可以从以下几个方面来详细描述：1. 技能理解的“混沌”： 目标感缺失： 很多玩家可能根本不清.............
• 

  既然理论上胶片分辨率无限大，那如果天文观测用胶片照下来然后显微镜看会怎么样?

  

  说起胶片分辨率无限大，这可真是个引人遐思的说法。严格来说，胶片的分辨率并非真正意义上的“无限大”，但它确实拥有着极其精细的记录能力，远超我们日常使用的数码传感器。如果真能将天文观测的影像用胶片拍摄下来，再通过极致的显微技术去解析，那将是怎样一番景象？让我们来细细品味一番。首先，我们得明白胶片这东西是.............
• 

  在英雄联盟低分段打辅助是个什么体验？

  

  在《英雄联盟》低分段（通常指1000分以下）打辅助的体验，往往充满了挑战、学习曲线和成长的过程。以下从多个角度详细解析这一体验： 1. 操作与技能的不熟练 技能释放时机混乱： 新手辅助对技能的释放时机、顺序和范围掌握不准确。例如，辅助英雄如拉克丝的技能需要精准的预判，但低分段玩家可能频繁打错技.............
• 

  有哪些豆瓣低分电影，实际上看起来很赞？

  

  豆瓣低分电影中“看起来很赞”的，往往是因为它们可能因为题材冷门、叙事方式独特、受众群体小众、前期宣传不足，或者被某些商业浪潮淹没而导致了低分。但对于懂得欣赏的观众来说，它们却能带来深刻的思考、独特的情感体验或惊喜的观影感受。以下我将举例一些豆瓣评分不高（例如低于7分，甚至更低）但实际上有很多观众认为.............
• 

  豆瓣上的低分电影是否真的不好看@？

  

  在豆瓣上，电影评分是一个相对直观的评价体系，但低分电影是否真的不好看，这其实是一个非常复杂的问题，需要从多个维度去理解。简单地说，低分不一定代表“绝对不好看”，但通常意味着它在大部分观众的观感上存在明显的问题，或者未能达到观众的期待。下面我将从几个方面详细阐述：1. 豆瓣评分的形成机制： 众包评.............
• 

  27寸显示器最佳分辨率是2k还是4k?

  

  27寸显示器，2K还是4K，这真的是个让人纠结的选择题，尤其是在不差钱的前提下，更想一步到位。不过，说实话，没有绝对的“最佳”，只有“最适合你”的。咱们细细聊聊，你就明白了。先说说27寸的“先天条件”在聊2K和4K之前，得先明白27寸这尺寸本身有什么特点。27寸算是个主流尺寸了，不像小屏幕看着挤，也.............
• 

  在守望先锋天梯低分段打辅助是个什么体验？

  

  守望先锋低分段辅助？呵，那可真是五味杂陈，一言难尽。你想啊，这游戏本来就是个团队协作的游戏，你选个辅助，本意是想给队友加血、推盾、给个大招，让他们能在正面战场打得更爽。结果呢？到了低分段，你发现你努力扮演着“团队粘合剂”的角色，但很多时候，你感觉自己像个在沙漠里徒手挖井的人，挖出来的水，还得靠运气才.............
• 

  为什么2k分辨率是2560 1440而不是2714 1527这种近似于4k像素点一半的分辨率呢？

  

  .......
• 

  为什么王者荣耀低分段里自信爆棚的玩家比高分段多？

  

  王者荣耀低分段里，确实能看到不少“自信爆棚”的玩家，他们敢打敢拼，甚至有些时候显得有些“莽”，但这种现象背后其实有很多原因，而且和高分段玩家的思维方式和游戏环境有着很大的不同。咱们不扯那些AI报告里生硬的分析，就从咱们游戏里的真实感受来聊聊。首先，得说说“自信”这玩意儿怎么来的。1. 对自身理解的偏.............
• 

  电子显微镜的分辨率为什么不能无限提高？

  

  电子显微镜，作为我们窥探微观世界的利器，其分辨率的每一次飞跃都带来了科学研究的巨大进步。然而，正如任何技术一样，电子显微镜的分辨率也并非可以无限提升，背后有着深刻的物理原理和工程挑战。简单来说，就是我们没办法看得“无限细”了，这其中有几个关键的“看不下去”的地方。 1. 光的波粒二象性——分辨率的物.............
• 

  为何电脑屏幕分辨率达不到720P，看1080P还是会比720P视频要清晰？

  

  这个问题很有意思，它涉及到我们眼睛如何感知图像，以及视频内容是如何被编码和显示的。简单来说，即使你的电脑屏幕分辨率本身没有达到1080P，观看1080P的视频仍然可能比720P视频显得更清晰，这其中有几个关键的原因：1. 细节信息量：1080P 的“底子”更好首先，我们需要理解“分辨率”到底是什么。.............
• 

  《英雄联盟》低分段是泥潭吗？

  

  这问题，问得好！说实话，我接触《英雄联盟》也有些年头了，从当初那个连补刀都磕磕绊绊的小萌新，到现在勉强能看清小地图的“老油条”，低分段到底是不是“泥潭”，这事儿吧，得辩证地看。“泥潭”的说法，确实不无道理。为啥这么说呢？咱们先来数数低分段为啥容易让人感觉像踩进了泥潭。 “谜之操作”层出不穷： 这.............
• 

  如果长期低利率会出现什么情况？

  

  长期的低利率环境，就像一个经济体里持续弥漫的温吞水，表面看似平静，实则暗流涌动，对我们每个人，以及整个社会的运作都可能产生深远的影响。首先，对于储蓄者而言，低利率意味着存款收益微乎其微。那些习惯将钱存在银行，依靠利息过活的人，日子会变得格外艰难。他们的购买力会被通货膨胀悄悄蚕食，辛辛苦苦攒下的积蓄，.............
• 

  如何通过多帧影像进行超分辨率重构？

  

  通过多帧影像进行超分辨率（SuperResolution, SR）重构，其核心思想是利用多张低分辨率（Low Resolution, LR）图像中包含的不同但互补的信息来生成一张高分辨率（High Resolution, HR）图像。这些信息可以来源于： 微小的位移（Microlocal Shi.............
• 

  为什么网上给《敦刻尔克》打低分的人那么多？

  

  您好！关于《敦刻尔克》网上出现大量低分评价的情况，这确实是一个值得探讨的现象，因为电影本身获得了许多正面评价和奖项。之所以会出现这种“反差”，我们可以从多个角度来详细分析：一、观众期待与影片实际风格的错位： “战争大片”的刻板印象： 很多人观看《敦刻尔克》时，是带着对传统战争片的期待。他们可能预.............