排行榜

Driverless AI 提供自动创建排行榜的功能。

创建排行榜 功能可运行多个提供数据集概述的不同实验。此功能还能为您提供相关信息,用于在将模型应用于生产环境时确定复杂性、准确度、大小和时间方面的权衡。请参阅 专家设置 主题,了解可用于控制此功能的专家设置。请参阅 排行榜模型 ,以详细了解为排行榜构建的默认模型。

所构建的模型位于 项目工作空间 页面,可同时使用测试数据集进行评分并进行比较。

创建排行榜

创建排行榜类似于运行一项 new experiment. 请参阅 实验设置, 专家设置评分器 主题,以详细了解在运行实验时可以设置的选项。

  1. 数据集 页面上,选择您想要用于实验的数据集,然后点击 预测

    实验 页面上,点击 新建实验 ,然后选择您想要使用的数据集。

  2. 指定是否包括删除列、验证数据集和测试数据集。

  3. 指定目标列以及(可选)折叠列、权重列和时间列。

  4. (可选)指定 专家设置.

  5. (可选)调整准确度/时间/可解释性旋钮。

  6. (可选)覆盖默认评分器。

  7. (可选)覆盖分类/回归设置。

  8. (可选)指定是否使实验可再现和/或是否启用 GPU。

  9. 点击 创建排行榜 按钮。

Create Leaderboard

Driverless AI 创建一个随机命名的新项目,并使用队列机制来开始自动训练模型。新项目的描述是 “自动排行榜”。所有模型构建完成后,您可以按照 项目工作空间 主题中所述, score each experimentcompare experiments

Projects page for leaderboard

排行榜模型

创建排行榜模型时,所构建的模型将会因您运行的是常规实验还是时间序列实验而异。

常规实验

在创建常规(非时间序列)实验的排行榜时,默认会构建以下模型。您可以在 专家设置 中禁用这些模型,从而不构建这些模型。

模型

准确度

时间

可解释性

配置覆盖

几乎没有特征的决策树

1

1

10

Max_orig_cols_selected=5 nfeatures_max=10

简单 LightGBM

1

1

10

常量基线

1

1

10

max_orig_cols_selected=1

单一决策树

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

单一 GLM

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

复杂 LightGBM 集成

7

在实验中指定

在实验中指定

几乎没有特征的单一 LightGBM

在实验中指定

在实验中指定

在实验中指定

Max_orig_cols_selected=5 nfeatures_max=10 fixed_ensemble_level=0

默认单一 LightGBM

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

默认 XGBoost/LightGBM 集成

在实验中指定

在实验中指定

在实验中指定

单一 FTRL

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

单一 TensorFlow

在实验中指定

在实验中指定

在实验中指定

fixed_ensemble_level=0

时间序列实验

Driverless AI 将使用默认的 Driverless AI 设置来创建时间序列实验。在创建时间序列实验的排行榜时,还会构建以下其他模型。

请注意

  • 时间序列基线模型始终包含基于滞后的特征。

  • 不同于常规实验中的排行榜,此排行榜将仅使用指定的准确度/时间/可解释性设置来构建模型。

  • 请参阅 Driverless AI 转换 主题,了解关于每种转换器的信息。

模型

所包含的模型

所包含的转换器

配置覆盖

指数平滑

GLM

EwmaLagsTransformer

nfeatures_max=10

目标滞后决策树

决策树

LagsTransformer

nfeatures_max=10

目标滞后 GLM

GLM

LagsTransformer、wmaLagsTransformer、LagsAggregatesTransformer

nfeatures_max=50

目标滞后 LightGBM/XGBoost

LightGBM、XGBoostGBM

LagsTransformer、wmaLagsTransformer、LagsAggregatesTransformer

nfeatures_max=50