Halcon深度学习相关术语介绍

序号

术语

解释

1

Adam

Adam (adaptive moment estimation)是一种基于一阶梯度的随机目标函数优化算法，用于计算单独的自适应学习率。在深度学习方法中，该算法可用于最小化损失函数。

2

anchor

它们作为固定的参考边界框，借助这些参考框，网络为要目标的定位提出建议的边界框。

3

annotation

表示给定实例的 ground truth信息。例如，在目标检测中，一个实例的边界框和相应的标签。

4

anomaly

异常是指偏离正常的事物，未知的事物。例如，结构异常或逻辑异常。

5

backbone

骨干网络是预训练分类网络的一部分。它的任务是生成各种特征图，因为分类层被删除了。

6

bounding box

用于定位图像中某一对象的矩形框。

7

class agnostic

在HALCON中，我们使用它来减少重叠的预测边界框。对于class agnostic的边界框抑制，重叠实例的抑制忽略了类的信息，因此重度重叠的实例被独立于它们的类进行抑制。

8

change strategy

表示在DL模型的训练过程中，何时以及如何改变超参数的策略。

9

class

网络区分的离散类别(例如，苹果、桃子、梨)。

序号

术语

解释

1

classifier

分类器将图像作为输入，并返回推理的置信度值，表示图像属于每个类别的可能性。例如，苹果、桃子和梨这三个类别是有区别的。现在我们给分类器一个苹果的图像。因此，可以返回apple:0.92，peach:0.07和pear:0.01的置信度。

2

COCO

COCO是common objects in context的缩写，是一个大规模的目标检测、分割和字幕数据集。

3

confidence

置信度代表实例与类别之间相匹配的程度。在HALCON中，置信度是在[0,1]范围内给定的概率。备选名称:score。

4

confusion matrix

混淆矩阵是一个表，它将网络预测的类(top-1)与ground truth 类从属关系进行比较。它通常用于可视化网络在验证或测试集上的性能。

5

Convolutional Neural Networks (CNNs)

卷积神经网络是用于深度学习的神经网络，其特点是在网络中至少存在一个卷积层。

6

data

深度学习数据(包含图像和标签等)。

7

Data augmentation

数据增强是在数据集中生成样本的修改副本。这样做是为了增加数据集的丰富度，例如，通过翻转或旋转。

8

dataset

对于dataset，我们指的是用于训练的完整数据集。数据集被分成三个(如果可能的话)独立的子集:训练集包含算法直接优化网络的数据；验证集包含在训练期间评估网络性能的数据；测试集用于测试可能的推断(预测)，从而在不影响网络优化的情况下，用数据测试网络模型性能。

9

epoch

在深度学习的背景下，epoch是对整个训练数据的一次训练迭代，即对所有批次训练数据的训练迭代。

10

deep learning

在HALCON中，我们将术语深度学习用于使用具有多个隐藏层的神经网络的方法。

序号

术语

解释

1

errors

在深度学习的背景下，当一个推断的实例类别与真实类别不匹配时的误差。在HALCON中，当我们提到top-1误差时，我们在深度学习中使用误差这个术语。

2

feature map

特征图是给定层的输出。

3

Feature pyramid

特征金字塔就是一组特征图，每个特征图都来自另一个层级，也就是说，它比之前的层级小。

4

head

头是子网络结构，对于某些架构，它们附加在选定的金字塔层级上。

5

inference phase

推理阶段是应用训练好的网络来预测(推断)实例的阶段。这些实例可以是整个输入图像，也可以是其中的一部分。与训练阶段不同，在推理阶段，网络不再发生变化。

6

intersection over union

IoU是一种量化两个区域重叠的方法。我们可以确定两个区域的共同部分，交集和并集。IoU是两个区域交集和并集的比值。

7

label

标签是用来定义图像类别的字符串。在HALCON中，这些标签由图像名称(下划线和数字的组合)或目录名称给出，例如，'apple_01.png'， 'pear.png'， 'peach/01.png'。

8

layer and hidden layer

层是神经网络中的构建块，因此执行特定的任务(例如，卷积，池化等)。它可以看作是一个容器，它接收加权输入，对其进行转换，并将输出返回给下一层。输入和输出层分别连接到数据集，即图像或标签。中间的所有层都称为隐藏层。

9

weights

一般来说，权重是网络的自由参数，在训练过程中由于损失的优化而改变。具有权重的层与其输入值相乘或相加。与超参数相比，权重是优化的，因此在训练过程中可以改变。

序号

术语

解释

1

level

在特征金字塔网络中，使用术语层级来表示具有相同宽度和高度的整个层组中的特征图。因此，输入图像表示层级0。

2

loss

损失函数将来自网络的预测与给定的标签进行比较，并减小偏差。这个损失函数是我们在训练过程中优化的函数，以使网络适应特定的任务。别名:目标函数、代价函数。

3

non-maximum suppression

在目标检测中，采用非最大抑制来抑制重叠的预测边界框。

当不同的实例重叠超过给定的阈值时，只保留具有最高置信度值的实例，而不具有最大置信度值的其他实例将被抑制。

4

overfitting

当网络开始“记忆”训练数据，而不是学习如何找到分类的一般规则时，就会发生过拟合。当模型继续最小化训练集上的误差，但验证集上的误差增加时，这一点就变得明显了。由于大多数神经网络有大量的权重，这些网络特别容易过度拟合。

underfitting

当模型过度泛化时，就会出现欠拟合。换句话说，它无法描述任务的复杂性。这直接反映在训练集上的误差上，并没有明显下降。

5

retraining

我们将再训练定义为更新已经预训练的网络的权值，即在再训练过程中网络学习特定的任务。别名:微调。

6

solver

求解器通过以优化(即最小化)损失的方式更新权重来优化网络。

7

stochastic gradient descent (SGD)

SGD是一种求解可微函数的迭代优化算法。SGD的一个关键特征是仅基于包含随机抽样数据的单个批次而不是所有数据来计算梯度。在深度学习方法中，该算法可用于计算梯度以优化(即最小化)损失函数。

8

top-k error

分类器推断给定图像属于给定类别的置信度。在top-1错误率的情况下，我们检查目标标签是否与预测的最高概率值相匹配。在top-3错误率的情况下，我们检查目标标签是否匹配前3个预测中的一个(这3个标签获得该图像的最高预测概率)。别名:top-k分数。

9

transfer learning

迁移学习是指在已有网络的知识基础上建立网络的技术。具体来说，这意味着使用一个已经(预)训练的网络及其权重，并使输出层适应相应的输出。我们将再训练视为迁移学习的一部分。

序号

术语

解释

1

hyperparameter

像每个机器学习模型一样，cnn包含许多带有许多参数的公式。在训练过程中，模型从数据中学习，优化参数。然而，这样的模型可以有其他额外的参数，这些参数不是在常规训练中直接学习到的。这些参数的值是在开始训练之前设置的。我们将最后一种类型的参数称为超参数，以便将它们与在训练期间优化的网络参数区分开来。或者从另一个角度来看，超参数是特定于求解器的参数。

2

batch size

批大小(超参数batch_size)，数据集被分成更小的数据子集，这些子集被称为批。批处理大小决定了一个批处理中向网络喂入的图像数量。

3

learning rate

学习率(超参数)是在更新损失函数参数时应考虑梯度。简单来说，当我们想要优化一个函数时，梯度告诉我们应该优化的方向，而学习率决定了我们一多大的步长沿着这个方向走。

别名:step size(步长)。

4

momentum

动量是用于优化损失函数参数。当损失函数参数更新时(在计算梯度之后)，将添加(过去迭代步骤的)先前更新向量的一小部分。

5

regularization

正则化(超参数'weight_prior')是一种通过在损失函数中添加额外项来防止神经网络过拟合的技术。它的工作原理是惩罚大权重，即将权重推向零。简单地说，正则化倾向于更简单的模型，这些模型不太可能适合训练数据中的噪声，并且泛化得更好。在HALCON中，正则化是通过参数'weight_prior'控制的。别名：正则化参数，权重衰减参数。