机器学习是让算法从数据中自动找到一组规则，以便提取有助于分类/聚类/决策制定的数据特征。随着机器学习的发展，对人工干预的需求越来越多。然后，AutoML使机器学习模型从构建到应用的全过程自动化，最终获得一个端到端模型（端到端）。使用AutoML，机器学习将从下图的曲折转变为上图中的曲折。从流程的顺序出发，首先是数据准备，包括数据收集和清理，然后是要素工程，其中包括要素选择（确定需要保留哪些要素），特征提取（要素的维数缩减，常用方法等）。作为PCA），功能组合（将多个功能组合/构造为新功能）。在随后的模型构建中，最关键的是模型选择。在超参数优化之后，可以采用许多方法。最简单的方法是网格搜索。常用的方法包括强化学习，进化算法，贝叶斯优化和梯度下降法来缩小搜索空间。最后，AutoML通过引入早期停止，降低模型的准确性和共享参数来自动化模型评估的过程。数据收集的任务不是搜索和收集真实数据，而是生成模拟数据以扩展训练数据集。可以使用的新技术包括对抗神经网络（单击以查看相应的文章），还可以使用强化学习框架。 ，以优化用于控制生成的数据的参数，以便生成的数据可以更有效地协助模型的训练。数据清理将自动完成手动工作，包括缺失值完成，异常值处理，特征归一化和分类特征的不同编码。对于自动模型选择，传统方法是从传统模型（例如KNN，SVM和决策树）中选择一个或多个模型，或将它们与最佳模型组合。 AutoML当前的研究重点是神经体系结构搜索。也就是说，在没有人工干预的情况下，该模型会自动生成对当前任务最有效的网络结构，并且该模型会自动搜索在不同的自产结构下的最佳操作组合顺序。搜索结果如下图所示：下图显示了用于强化学习的部分：此处的行为是选择具有一定概率的特定网络结构，而行为是在此条件下训练子网。为了达到预设的准确率，奖励是测试数据集上子网的准确率与选择网络的概率的乘积。通过将子模型的泛化能力用作反馈，它可用于控制选择不同模型的可能性。 RNN可以优化其梯度以选择具有最强泛化能力的模型，同时通过始终保持一定的概率来选择其他模型，从而应对漏洞利用与漏洞利用之间的权衡。作为AutoML的最热门研究领域，NAS算法具有许多变体。下图显示了不同NAS方法对CIFAR1000的影响和训练时间。与强化学习和进化算法相比，传统方法花费的时间更少。为了找到合适的网络体系结构，除了传统的串行网络之外，还存在基于小区的分层网络体系结构搜索。下图显示了从最基本的操作中搜索一级网络组件后，如何通过自动搜索来构建具有一级组件的网络。选择模型后，最常用的参数调整过程是网格搜索，即搜索空间中的点以固定间隔进行。但是，下图指出，网格搜索不一定比随机搜索好，因为对于重要的参数，网格搜索的采样位置将不足，这将导致无法为模型获得相对较好的点。 AutoML将使用随机采样首先评估每个超参数的重要性，然后对重要参数进行微调。