排行榜

Driverless AI 提供自动创建排行榜的功能。

创建排行榜 功能可运行多个提供数据集概述的不同实验。此功能还能为您提供相关信息,用于在将模型应用于生产环境时确定复杂性、准确度、大小和时间方面的权衡。请参阅 专家设置 主题,了解可用于控制此功能的专家设置。请参阅 排行榜模型 ,以详细了解为排行榜构建的默认模型。

所构建的模型位于 项目工作空间 页面,可同时使用测试数据集进行评分并进行比较。

创建排行榜

创建排行榜类似于运行一项 new experiment. 请参阅 实验设置, 专家设置 和 评分器 主题,以详细了解在运行实验时可以设置的选项。

  1. 在 数据集 页面上,选择您想要用于实验的数据集,然后点击 预测

    或

    在 实验 页面上,点击 新建实验 ,然后选择您想要使用的数据集。

  2. 指定是否包括删除列、验证数据集和测试数据集。

  3. 指定目标列以及(可选)折叠列、权重列和时间列。

  4. (可选)指定 专家设置.

  5. (可选)调整准确度/时间/可解释性旋钮。

  6. (可选)覆盖默认评分器。

  7. (可选)覆盖分类/回归设置。

  8. (可选)指定是否使实验可再现和/或是否启用 GPU。

  9. 点击 创建排行榜 按钮。

Create Leaderboard

Driverless AI 创建一个随机命名的新项目,并使用队列机制来开始自动训练模型。新项目的描述是 “自动排行榜”。所有模型构建完成后,您可以按照 项目工作空间 主题中所述, score each experiment 并 compare experiments 。

Projects page for leaderboard

排行榜模型

创建排行榜模型时,所构建的模型将会因您运行的是常规实验还是时间序列实验而异。

常规实验

在创建常规(非时间序列)实验的排行榜时,默认会构建以下模型。您可以在 专家设置 中禁用这些模型,从而不构建这些模型。

模型

准确度

时间

可解释性

配置覆盖

几乎没有特征的决策树

1

1

10

Max_orig_cols_selected=5 nfeatures_max=10

简单 LightGBM

1

1

10

常量基线

1

1

10

max_orig_cols_selected=1

单一决策树

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

单一 GLM

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

复杂 LightGBM 集成

7

在实验中指定

在实验中指定

几乎没有特征的单一 LightGBM

在实验中指定

在实验中指定

在实验中指定

Max_orig_cols_selected=5 nfeatures_max=10 fixed_ensemble_level=0

默认单一 LightGBM

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

默认 XGBoost/LightGBM 集成

在实验中指定

在实验中指定

在实验中指定

单一 FTRL

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

单一 TensorFlow

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

时间序列实验

Driverless AI 将使用默认的 Driverless AI 设置来创建时间序列实验。在创建时间序列实验的排行榜时,还会构建以下其他模型。

请注意:

  • 时间序列基线模型始终包含基于滞后的特征。

  • 不同于常规实验中的排行榜,此排行榜将仅使用指定的准确度/时间/可解释性设置来构建模型。

  • 请参阅 Driverless AI 转换 主题,了解关于每种转换器的信息。

模型

所包含的模型

所包含的转换器

配置覆盖

指数平滑

GLM

EwmaLagsTransformer

nfeatures_max=10

目标滞后决策树

决策树

LagsTransformer

nfeatures_max=10

目标滞后 GLM

GLM

LagsTransformer、wmaLagsTransformer、LagsAggregatesTransformer

nfeatures_max=50

目标滞后 LightGBM/XGBoost

LightGBM、XGBoostGBM

LagsTransformer、wmaLagsTransformer、LagsAggregatesTransformer

nfeatures_max=50