EmguCV学习笔记 VB.Net 11.3 DNN其它

  版权声明：本文为博主原创文章，转载请在显著位置标明本文出处以及作者网名，未经作者允许不得用于商业目的。

EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。

教程VB.net版本请访问：EmguCV学习笔记 VB.Net 目录-CSDN博客

教程C#版本请访问：EmguCV学习笔记 C# 目录-CSDN博客

笔者的博客网址：https://blog.csdn.net/uruseibest

教程配套文件及相关说明以及如何获得pdf教程和代码，请移步：EmguCV学习笔记

学习VB.Net知识，请移步： vb.net 教程 目录_vb中如何用datagridview-CSDN博客

 学习C#知识，请移步：C# 教程 目录_c#教程目录-CSDN博客

11.3 DNN其它

1、Net.SetPreferableBackend方法

Net类的SetPreferableBackend方法用于设置神经网络模型的首选后端。神经网络模型的后端是指用于计算模型的底层计算框架，例如OpenCV的DNN模块支持的后端包括OpenCV DNN、TensorFlow、Caffe和Torch等。

SetPreferableBackend方法是一个backend枚举参数，用于指定所需的后端。这个参数的常用取值有：

1. Default：默认的后端，具体取决于OpenCV的编译选项和可用的后端。在Windows平台上，通常是OpenCV DNN后端。
2. OpenCV：OpenCV DNN后端，使用OpenCV的DNN模块进行计算。这个后端的优点是速度较快，支持多线程计算和硬件加速。
3. Cuda：CUDA DNN后端，使用Nvidia的CUDA库进行计算。这个后端的优点是速度非常快，支持GPU加速，但需要显卡支持CUDA。
4. Halide：Halide后端，使用Halide框架进行计算。这个后端的优点是灵活性高，支持自定义算子和优化，但速度较慢。

注意：SetPreferableBackend方法只能在模型初始化之后调用，且只能设置一次。如果需要更改后端，必须重新加载模型。此外，后端的选择会影响模型的计算速度和可用性，应根据实际情况选择合适的后端。

2、Net.SetPreferableTarget方法

Net类的SetPreferableTarget方法用于设置神经网络模型的首选目标设备，即用于计算模型的硬件设备，例如CPU、GPU、FPGA等。

SetPreferableTarget方法是一个Target枚举参数，用于指定所需的目标设备。这个参数的常用取值有：

1. Cpu：CPU设备，使用CPU进行计算。这个目标设备的优点是通用性高，不需要额外的硬件支持，但速度较慢。
2. OpenCL：OpenCL设备，使用OpenCL框架进行计算。这个目标设备的优点是通用性高，支持多种硬件设备，但速度与CPU相当或略慢。
3. Cuda：CUDA设备，使用Nvidia的CUDA库进行计算。这个目标设备的优点是速度非常快，支持GPU加速，但需要显卡支持CUDA。
4. OpenCLFp16：OpenCL设备，使用OpenCL框架进行计算，但使用16位浮点数进行计算。这个目标设备的优点是速度快，支持多种硬件设备，但精度可能受到影响。

注意：SetPreferableTarget方法只能在模型初始化之后调用，且只能设置一次。如果需要更改目标设备，必须重新加载模型。此外，目标设备的选择会影响模型的计算速度和可用性，应根据实际情况选择合适的目标设备。

3、Net.layernames属性

Net类的layernames属性是一个字符串数组，用于获取推理模型中所有层的名称。每个层的名称在模型中是唯一的，可以用于获取或设置相应层的参数，获取到的层名称的顺序与模型文件中定义的层的顺序相同。

在使用此属性前，应首先使用ReadNe相关方法加载模型文件和权重文件。然后使用LayerNames属性获取模型中所有层的名称。

如果需要获取某个特定层的名称，可以使用GetLayerNames方法，指定层的类型和索引。当模型中不存在指定类型和索引的层，则GetLayerNames方法会返回一个空的字符串数组。

【代码位置：frmChapter11】Button1_Click

    '获取推理模型中所有层的名称

    Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click

        Dim net As Dnn.Net

        '读取推理模型文件

        net = DnnInvoke.ReadNetFromTensorflow("C:\learnEmgucv\openpose\graph_opt.pb")

        Dim layer_name() As String

        '获取推理模型中所有层的名称

        layer_name = net.LayerNames

End Sub

4、Net的UnconnectedOutLayersnames和UnconnectedOutLayers属性

Net类的UnconnectedOutLayersnames属性用于获取推理模型中未连接的输出层名称列表，返回一个字符串数组。

Net类的UnconnectedOutLayers属性用于获取未连接的输出层索引列表，返回一个整数数组，包含未连接的输出层的索引。这些索引是从0开始的，表示神经网络模型中各层的顺序。例如，索引为0表示模型的第一层，索引为1表示模型的第二层，以此类推。

在深度学习模型中，每个层都会有一个输出张量作为下一层的输入张量。但在某些情况下，可能只需要使用模型的某些层的输出张量，它们不会被用于计算损失函数或反向传播，而不需要使用整个模型的输出张量。这时候，可以将这些层称为未连接的输出层。未连接的输出层通常用于向用户或其他系统输出模型的某些结果，例如分类结果、目标检测结果等。这些结果通常与整个模型的输出不同，因此需要单独计算。需要注意的是，未连接的输出层的数量和位置取决于模型的设计和用途。在使用推理模型时，需要根据实际情况选择使用连接的输出层还是未连接的输出层。

注意：UnconnectedOutLayersnames和UnconnectedOutLayers属性只能在模型初始化之后调用。如果模型还没有初始化，或者模型没有输出层，将返回一个空数组。此外，如果要使用UnconnectedOutLayers属性获取未连接的输出层索引列表，请确保在模型中确实存在未连接的输出层。

5、DnnInvoke.NMSBoxes方法

DnnInvoke.NMSBoxes方法用于在目标检测任务中对检测结果进行非极大值抑制（Non-Maximum Suppression）处理，以排除重叠的矩形框。NMSBoxes方法将输入的矩形框列表和置信度列表作为输入，并返回一个过滤后的矩形框列表。该方法声明如下：

Public Shared Function NMSBoxes (

         bboxes As Rectangle(),

         scores As Single(),

         scoreThreshold As Single,

         nmsThreshold As Single,

         Optional eta As Single = 1F,

         Optional topK As Integer = 0

) As Integer()

参数说明：

1. bboxes：包含所有矩形框的矩形数组。
2. scores：对应于每个矩形框的置信度数组。
3. scoreThreshold：置信度阈值，低于该阈值的矩形框将被过滤掉。
4. nmsThreshold：重叠的矩形框之间的IoU（Intersection over Union）阈值，超过该阈值的边界框将被过滤掉。
5. eta：调整重叠框之间的重叠度权重。
6. topK：最多保留索引个数，0表示不限制个数。

返回值：

经过NMS之后要保留的矩形框的索引数组。

注意：在使用NMSBoxes方法时，需要选择合适的置信度阈值和重叠的矩形框之间的IoU阈值。通常情况下，置信度阈值越高，过滤后的矩形框越少；重叠的矩形框之间的IoU阈值越低，过滤后的边界框越少。如果选择不合适的阈值，可能会导致部分目标被漏检或者误检。

关于以上方法或属性，在后面小节的示例中会展示用法。