自动编码器有多种类型,并分析与不同变化相关的优缺点:
1. 去噪自动编码器
去噪自动编码器处理部分损坏的输入并训练以恢复原始的、未失真的图像。 如上所述,这种方法是一种有效的方法,可以限制网络简单地复制输入,从而学习数据的底层结构和重要特征。
非常好点
这种类型的自动编码器可以提取重要特征并减少噪声或不需要的特征。
去噪自动编码器可以用作数据增强的一种形式,恢复的图像可以用作增强数据以生成额外的训练样本。
缺点:
选择正确的噪声类型和水平来引入可能具有挑战性,并且可能需要领域知识。
去噪过程可能会导致原始输入所需的一些信息丢失。 这种损耗会影响输出的精度。
2.稀疏自动编码器
这种类型的自动编码器通常包含比输入更多的隐藏单元格,但一次只允许几个单元处于活动状态。 此属性称为网络稀疏性。 可以通过手动清零所需的隐藏单元、调整激活函数或在成本函数中添加损失项来控制网络的稀疏性。
非常好点
稀疏自编码器中的稀疏性约束有助于在编码过程中滤除噪声和不相关的特征。
这些自动编码器通常学习重要且有意义的特征,因为它们强调稀疏激活。
缺点:
超参数的选择对该自动编码器的性能起着重要作用。 不同的输入应该导致网络不同节点的激活。
稀疏性约束的应用增加了计算的复杂性。
3.可变自动编码器
变分自动编码器对潜在变量的分布做出强有力的假设,并在训练期间使用随机梯度变分贝叶斯估计器。 它假设数据是由有向图模型生成的,并尝试学习 q { phi}(z|x) 到条件属性 q {{theta} (z |.)x),其中 phi 和 theta 分别是编码器和解码器的参数。
优势:
变分自动编码器用于生成与原始训练数据相似的新数据点。 这些样本是从潜在空间中学习的。
变分自动编码器是一种概率框架,用于学习数据的压缩表示以捕获其基本结构和变化,因此它对于检测异常和探索数据非常有用。
缺点:
变分自动编码器使用近似来估计潜在变量的真实分布。 这种近似会引入一定程度的误差,这可能会影响生成的样品的质量。
得到的样本只能覆盖真实数据分布的有限子集。 这可能导致生成的样本缺乏多样性。
4. 卷积自动编码器
卷积自动编码器是一种使用卷积神经网络 (CNNS) 作为构建块的自动编码器。 编码器由多个层组成,这些层将图像或网格作为输入,并将其传递到不同的卷积层,形成输入的压缩表示。 解码器是编码器的镜像,用于对压缩表示进行反卷积并尝试重建原始图像。
优势:
卷积自动编码器可以将高维图像数据压缩为低维数据。 这提高了图像数据的存储效率和传输效率。
卷积自动编码器可以重建图像的缺失部分。 它还可以处理物体位置或方向略有变化的图像。
缺点:
这些自动编码器容易出现过拟合。 应使用适当的正则化技术来解决这个问题。
数据压缩会导致数据丢失,从而导致低质量图像的重建。
优质作者名单