广东技术师范大学吧 关注：25,531贴子：194,212
背景故事： [我们遇到的问题][使用的方法][困难]
我们经常会遇到这样的问题，如果我们做了一个小车，希望它能够智能地沿着路走，避开行人和车辆，那么，我们就会想办法检测马路线，检测行人。传统的CV方法是输入摄像头的图像，然后使用滤波器过滤，大体流程是灰度转换+降噪+边缘检测+蒙版+霍夫线变换，最终只保留下车道线的像素，后续还需要相机参数做变换，才能得到车道线的真实长度。
图表 2—基于传统CV的车道线检测https://blog.csdn.net/qq_45199760/article/details/121453338
对于车道线检测，因为其特征比较明显，所以会有不少成功的案例，但是对于行人检测，传统的CV算法几乎是不可能的，因为行人的特征多种多样。其实推广来讲，CV的车道线检测也面临着同样的问题。受光照影响，晚上，傍晚，车道线的颜色会不一样。受地域影响，不同地区的车道线会不一样。受天气影响，下雨的时候雨水会覆盖反光。总结来说，流程都是先基于人工的总结一种特征，然后再实现一种算法来进行检测，这就是特征工程。
图表 3—不同天气和光照条件下的边缘检测
到后来，有了神经网络，我们不再需要很复杂的特征提取算法，因为神经网络会自动在训练中找到这种特征。比如Anchor3DLane，这种基于卷积神经网络的自动车道线识别，输出的还是3D的车道线，这样一来是后续的处理压力小了，也不需要我们专门地设计什么滤波器。
图表 4—Anchor3DLane网络结构图，输入2D图像+相机内参，输出3D车道线
目前，神经网络已经是自动驾驶领域中不可或缺的算法，依据车辆使用的传感器不同，又分为纯视觉/纯雷达/视觉+雷达融合等不同的方向。对于纯视觉方向，较为经典的是MonoDLE。这是一个由2D卷积网络作为骨干（特征提取）+ 多个2D卷积作为检测头（多任务）的深度神经网络。（很抱歉，并没有网络结构图，作者没画）
对于视觉+雷达融合方向，22年时流行的是BEV鸟瞰图方案。将四周的各个摄像头信息先变换到鸟瞰图空间，然后与雷达点云做融合，最后再使用检查头进行目标检测。
特斯拉给出的方案是OCC，也就是占用网络，可以形象地理解为《我的世界》中的体素化格式。
图表 5—环绕相机+雷达点云融合检测示意图（BEV）
需要注意的是，算法的发展必然受制于算力，OCC网络近年来是越来越火了，但是因其比2D多一个维度，参数量也是成倍地增长。不少企业仍然在追寻纯视觉的检测方案（如特斯拉），最简单的就是一个摄像头实现所有功能，称为单目检测，但是只使用一个摄像头有着天然的计算缺陷，如不能获取准确的深度信息。所以后续的更多方案选择了多摄像头的环绕覆盖。
图表 6—基于OCC的目标检测（纯视觉）
在我们的实践中，总是会遇到各种问题，总的来说是这样的：环境管理问题，数据格式问题，实验参数问题。
许多代码仓库在作者发表论文后就销声匿迹，不再更新维护，而作者当年使用的各种软件包很可能是未标明的，也导致我们需要经常地去“考古”，依据他发布的时间去推测当年使用的版本。其中最具有代表性的就是mmcv系列，这是一个广受欢迎的通用的神经网络框架，用于2D/3D目标检测，自动驾驶领域。而早期的mmcv系列对环境的要求比较严格。具体来说，我们在尝试复现一个代码时，他很可能是基于mmcv系列修改而来，那么我们就需要首先确定这个mmcv版本对应的pytorch版本，而pytorch版本需要先匹配一下当前的CUDA版本，而CUDA版本需要注意一下目前的GPU型号，举个例子：H800这个显卡是大陆特供版，CUDA算力是9.0，意味着CUDA至少要在11.8以上，而pytorch在2.X版本以后才提供11.8的支持，那么对应的mmcv版本就需要大于2.XX，如果这时候我们拿到一个代码，他使用的是MMCV==1.4.0这个版本，那么我们就没法在H800上跑起来。
数据格式问题其实并不是非常严重，因为我们通常使用同一个公开数据集进行测试，但是不免有一些特立独行的代码。
实验参数问题其实可以理解为可复现问题，因为神经网络训练的特点，每次更新参数时可能都会有一些随机扰动，这个随机扰动可能是出现在数据集加载器（将会在2.3节中讨论）的输入顺序，底层随机数产生器的种子，CUDNN的优化选择路径不同等等，所以很多人会将训练一个神经网络比作“炼丹”，训练的好坏有相当一部分的玄学因素。
我们花了相当多的时间在解决这些问题上，也是在这个过程中，我们逐渐对整个神经网络工程产生了一些基本认识，让我们对未来的工程项目有了一些基本设计，期望能够减少人们的痛苦，加快工作效率。所以，我们将在下节详细讲述我们的理解。
我们经常会遇到这样的问题，如果我们做了一个小车，希望它能够智能地沿着路走，避开行人和车辆，那么，我们就会想办法检测马路线，检测行人。传统的CV方法是输入摄像头的图像，然后使用滤波器过滤，大体流程是灰度转换+降噪+边缘检测+蒙版+霍夫线变换，最终只保留下车道线的像素，后续还需要相机参数做变换，才能得到车道线的真实长度。
图表 2—基于传统CV的车道线检测https://blog.csdn.net/qq_45199760/article/details/121453338
对于车道线检测，因为其特征比较明显，所以会有不少成功的案例，但是对于行人检测，传统的CV算法几乎是不可能的，因为行人的特征多种多样。其实推广来讲，CV的车道线检测也面临着同样的问题。受光照影响，晚上，傍晚，车道线的颜色会不一样。受地域影响，不同地区的车道线会不一样。受天气影响，下雨的时候雨水会覆盖反光。总结来说，流程都是先基于人工的总结一种特征，然后再实现一种算法来进行检测，这就是特征工程。
图表 3—不同天气和光照条件下的边缘检测
到后来，有了神经网络，我们不再需要很复杂的特征提取算法，因为神经网络会自动在训练中找到这种特征。比如Anchor3DLane，这种基于卷积神经网络的自动车道线识别，输出的还是3D的车道线，这样一来是后续的处理压力小了，也不需要我们专门地设计什么滤波器。
图表 4—Anchor3DLane网络结构图，输入2D图像+相机内参，输出3D车道线
目前，神经网络已经是自动驾驶领域中不可或缺的算法，依据车辆使用的传感器不同，又分为纯视觉/纯雷达/视觉+雷达融合等不同的方向。对于纯视觉方向，较为经典的是MonoDLE。这是一个由2D卷积网络作为骨干（特征提取）+ 多个2D卷积作为检测头（多任务）的深度神经网络。（很抱歉，并没有网络结构图，作者没画）
对于视觉+雷达融合方向，22年时流行的是BEV鸟瞰图方案。将四周的各个摄像头信息先变换到鸟瞰图空间，然后与雷达点云做融合，最后再使用检查头进行目标检测。
特斯拉给出的方案是OCC，也就是占用网络，可以形象地理解为《我的世界》中的体素化格式。
图表 5—环绕相机+雷达点云融合检测示意图（BEV）
需要注意的是，算法的发展必然受制于算力，OCC网络近年来是越来越火了，但是因其比2D多一个维度，参数量也是成倍地增长。不少企业仍然在追寻纯视觉的检测方案（如特斯拉），最简单的就是一个摄像头实现所有功能，称为单目检测，但是只使用一个摄像头有着天然的计算缺陷，如不能获取准确的深度信息。所以后续的更多方案选择了多摄像头的环绕覆盖。
图表 6—基于OCC的目标检测（纯视觉）
在我们的实践中，总是会遇到各种问题，总的来说是这样的：环境管理问题，数据格式问题，实验参数问题。
许多代码仓库在作者发表论文后就销声匿迹，不再更新维护，而作者当年使用的各种软件包很可能是未标明的，也导致我们需要经常地去“考古”，依据他发布的时间去推测当年使用的版本。其中最具有代表性的就是mmcv系列，这是一个广受欢迎的通用的神经网络框架，用于2D/3D目标检测，自动驾驶领域。而早期的mmcv系列对环境的要求比较严格。具体来说，我们在尝试复现一个代码时，他很可能是基于mmcv系列修改而来，那么我们就需要首先确定这个mmcv版本对应的pytorch版本，而pytorch版本需要先匹配一下当前的CUDA版本，而CUDA版本需要注意一下目前的GPU型号，举个例子：H800这个显卡是大陆特供版，CUDA算力是9.0，意味着CUDA至少要在11.8以上，而pytorch在2.X版本以后才提供11.8的支持，那么对应的mmcv版本就需要大于2.XX，如果这时候我们拿到一个代码，他使用的是MMCV==1.4.0这个版本，那么我们就没法在H800上跑起来。
数据格式问题其实并不是非常严重，因为我们通常使用同一个公开数据集进行测试，但是不免有一些特立独行的代码。
实验参数问题其实可以理解为可复现问题，因为神经网络训练的特点，每次更新参数时可能都会有一些随机扰动，这个随机扰动可能是出现在数据集加载器（将会在2.3节中讨论）的输入顺序，底层随机数产生器的种子，CUDNN的优化选择路径不同等等，所以很多人会将训练一个神经网络比作“炼丹”，训练的好坏有相当一部分的玄学因素。
我们花了相当多的时间在解决这些问题上，也是在这个过程中，我们逐渐对整个神经网络工程产生了一些基本认识，让我们对未来的工程项目有了一些基本设计，期望能够减少人们的痛苦，加快工作效率。所以，我们将在下节详细讲述我们的理解。
2.1：[基本CNN]
神经网络框架最终服务的还是神经网络本身，而神经网络则是由一层层卷积或其他操作叠加在一起的。所以，核心功能就是要实现神经网络的定义。在pytorch中，这样的需求很容易实现：
图表 7—torch中的网络层，只需要继承并实现forward（正向传播）
我们只需要继承nn.Module类,并实现他的forward函数即可。在这里我们定义了一个backboneP3，使用nn.Sequential组合成一起，其中包含了3层组合卷积+1层残差链接块。（残差链接参考ResNet，本文不做过多概述），每层卷积会有一些固定的参数：输入通道/输出通道/卷积核大小/卷积步长，更高级的操作有稀疏卷积，分组卷积。总之，我们在这里可以将每一层视作一个函数，输入X，输出Y。
神经网络框架最终服务的还是神经网络本身，而神经网络则是由一层层卷积或其他操作叠加在一起的。所以，核心功能就是要实现神经网络的定义。在pytorch中，这样的需求很容易实现：
图表 7—torch中的网络层，只需要继承并实现forward（正向传播）
我们只需要继承nn.Module类,并实现他的forward函数即可。在这里我们定义了一个backboneP3，使用nn.Sequential组合成一起，其中包含了3层组合卷积+1层残差链接块。（残差链接参考ResNet，本文不做过多概述），每层卷积会有一些固定的参数：输入通道/输出通道/卷积核大小/卷积步长，更高级的操作有稀疏卷积，分组卷积。总之，我们在这里可以将每一层视作一个函数，输入X，输出Y。
2.2：[骨干网络][检测头]
对于早期的神经网络，人们将其分类为输入层，隐含层，输出层，其中，输入层和输出层的数据格式是人们能够理解的，而隐含层的计算虽然每一步都可知，但是人们难以找到可理解的概念来解释它，这也是神经网络被称为“黑盒子“的原因。
图表 8—一个图像分类模型的其中一个卷积层可视化，一个卷积层包含许多通道，每个通道关注不同的特征，人类难以理解其中的含义
图表 9—针对MNIST手写字体识别构建的神经网络，包括一个卷积层+一个激活函数+最大池化层+全链接层，最终输出概率最大的数字
图表 10—对YOLO11各层的正向传播可视化，原始图像经过层层卷积处理，最终保留下了各种特征
对于早期的CNN网络，手写识别是一个很经典的任务，这个网络经过两层2D卷积+激活层+全链接层，最终输出各个数字的0到1的概率预测。这里就只有输入/输出/隐含层的概念。
到后来，因为提出了各种多任务的要求，人们将神经网络中间的隐含层又划分为“骨干“和“头部”，其中，骨干为一个或几个网络层组成的结构，其目的是实现特征信息提取，头部也是相同的CNN堆叠的结构，但是目的是实现不同任务的特定数据格式输出。
图表 11—YOLOP，backbone（骨干）负责从图像中提取特征，neck（颈部）负责整合特征，后续3个head（头部）负责实现具体的任务（可行驶区域，车道线，2D检测框）
举个例子，在YOLOP中，任务是实现输入一张图像，输出2D检测框+2D车道线+2D可行驶区域。那么我们就需要设计三个独立的检测头，对应图中三个Head。其中，车道线和可行驶区域检测都是2D像素分割任务，所以输出是2*H*W。就是说，这两个头的输出格式是两个通道，每个通道的分辨率是H*W。
2D检测框的设计更为复杂，在YOLOP中，2D检测框采取的是YOLOv4类似的检测头，而YOLOv4的设计是这样的：[H*W,(X,Y,W,H,Conf+num_cls)] =255
所以，检测头经常需要依据任务的性质进行调整，而骨干网络作为整个网络中，负责特征提取的部分，则由另一批人设计，最终实现了网络的模块化。
表 12--在我们这里的演示中，我们使用最新的YOLO11的骨干网络，任务头则采用了MonoDLE中设计的：heatmap/offset/size3dheading/depth
对于早期的神经网络，人们将其分类为输入层，隐含层，输出层，其中，输入层和输出层的数据格式是人们能够理解的，而隐含层的计算虽然每一步都可知，但是人们难以找到可理解的概念来解释它，这也是神经网络被称为“黑盒子“的原因。
图表 8—一个图像分类模型的其中一个卷积层可视化，一个卷积层包含许多通道，每个通道关注不同的特征，人类难以理解其中的含义
图表 9—针对MNIST手写字体识别构建的神经网络，包括一个卷积层+一个激活函数+最大池化层+全链接层，最终输出概率最大的数字
图表 10—对YOLO11各层的正向传播可视化，原始图像经过层层卷积处理，最终保留下了各种特征
对于早期的CNN网络，手写识别是一个很经典的任务，这个网络经过两层2D卷积+激活层+全链接层，最终输出各个数字的0到1的概率预测。这里就只有输入/输出/隐含层的概念。
到后来，因为提出了各种多任务的要求，人们将神经网络中间的隐含层又划分为“骨干“和“头部”，其中，骨干为一个或几个网络层组成的结构，其目的是实现特征信息提取，头部也是相同的CNN堆叠的结构，但是目的是实现不同任务的特定数据格式输出。
图表 11—YOLOP，backbone（骨干）负责从图像中提取特征，neck（颈部）负责整合特征，后续3个head（头部）负责实现具体的任务（可行驶区域，车道线，2D检测框）
举个例子，在YOLOP中，任务是实现输入一张图像，输出2D检测框+2D车道线+2D可行驶区域。那么我们就需要设计三个独立的检测头，对应图中三个Head。其中，车道线和可行驶区域检测都是2D像素分割任务，所以输出是2*H*W。就是说，这两个头的输出格式是两个通道，每个通道的分辨率是H*W。
2D检测框的设计更为复杂，在YOLOP中，2D检测框采取的是YOLOv4类似的检测头，而YOLOv4的设计是这样的：[H*W,(X,Y,W,H,Conf+num_cls)] =255
所以，检测头经常需要依据任务的性质进行调整，而骨干网络作为整个网络中，负责特征提取的部分，则由另一批人设计，最终实现了网络的模块化。
表 12--在我们这里的演示中，我们使用最新的YOLO11的骨干网络，任务头则采用了MonoDLE中设计的：heatmap/offset/size3dheading/depth
2.3：[数据处理]
神经网络训练的第一步是要输入数据，对于单目识别类似的任务来说，我们能提供的输入就是一张图像。同时，我们要准备对应的正确结果作为监督，在不断地与神经网络的输出中做比对，然后不断优化整个模型。最后是希望神经网络的输出与真值一致。在Kitti这个数据集中，为我们提供了2D标注的正确值，其实这些都是从3D标注中投影来的，可视化如下：
图表 13—依据2D边界框生成的中心区域heatmap，有些物体的2D中心并不一定属于该物体
图表 14—对整个kitti数据集3D标注框中心点到摄像机的距离的统计，一般选择90~100m作为上限
对于经典的CenterNet来说，其神经网络就是输入一张图像，输出一个heatmap，在图13中则为2D的物体中心点，再另外一个检测头输出2D的W，H偏移，这样由X，Y，W，H的信息结果共同组成了一个2D检测结果。但是也有一些疑问保留在这里，并不是所有物体的heatmap中心都能够与该物体的像素对应上，就比如图13最左边的卡车，其2D中心点属于的像素是背景的房子。
图表 15—依据每8个像素一个锚点，从该点发射50条距离递增的射线，再重新投影回2D图像坐标中，得到的误差分布图，可见越靠近图像中心误差越小。
图表 16—从摄像机的视角每8个像素发射射线，深度间隔1米，可视化为3D点查看
最近的一个想法是，将OCC的占用预测与类似YOLO的边界框回归预测结合在一起。具体流程是这样的，先从相机视角每8个像素发射一条射线，然后等间隔地取1米深度，生成的点作为占用预测，可以想象为3D版本的heatmap。然后再从每个点出发，预测6个方向的回归偏移，类似YOLO系列的2D回归偏移，但是YOLO的是2D所以只需要四个方向，3D的话就至少需要6个方向。
图表 17—MonoOCC的其中一个流程，从相机出发预测体素化结构的占用和分类
图表 18—删除不在目标框内的点后，可视化结果如下，深度间隔1米
神经网络训练的第一步是要输入数据，对于单目识别类似的任务来说，我们能提供的输入就是一张图像。同时，我们要准备对应的正确结果作为监督，在不断地与神经网络的输出中做比对，然后不断优化整个模型。最后是希望神经网络的输出与真值一致。在Kitti这个数据集中，为我们提供了2D标注的正确值，其实这些都是从3D标注中投影来的，可视化如下：
图表 13—依据2D边界框生成的中心区域heatmap，有些物体的2D中心并不一定属于该物体
图表 14—对整个kitti数据集3D标注框中心点到摄像机的距离的统计，一般选择90~100m作为上限
对于经典的CenterNet来说，其神经网络就是输入一张图像，输出一个heatmap，在图13中则为2D的物体中心点，再另外一个检测头输出2D的W，H偏移，这样由X，Y，W，H的信息结果共同组成了一个2D检测结果。但是也有一些疑问保留在这里，并不是所有物体的heatmap中心都能够与该物体的像素对应上，就比如图13最左边的卡车，其2D中心点属于的像素是背景的房子。
图表 15—依据每8个像素一个锚点，从该点发射50条距离递增的射线，再重新投影回2D图像坐标中，得到的误差分布图，可见越靠近图像中心误差越小。
图表 16—从摄像机的视角每8个像素发射射线，深度间隔1米，可视化为3D点查看
最近的一个想法是，将OCC的占用预测与类似YOLO的边界框回归预测结合在一起。具体流程是这样的，先从相机视角每8个像素发射一条射线，然后等间隔地取1米深度，生成的点作为占用预测，可以想象为3D版本的heatmap。然后再从每个点出发，预测6个方向的回归偏移，类似YOLO系列的2D回归偏移，但是YOLO的是2D所以只需要四个方向，3D的话就至少需要6个方向。
图表 17—MonoOCC的其中一个流程，从相机出发预测体素化结构的占用和分类
图表 18—删除不在目标框内的点后，可视化结果如下，深度间隔1米
