使用自定义评分器

Driverless AI 支持若干种评分器，包括：

  • 回归：GINI、MAE、MAPE、MER、MSE、R2、RMSE（默认）、RMSLE、RMSPE、SMAPE、TOPDECILE

  • 分类：ACCURACY、AUC（默认）、AUCPR、F05、F1、F2、GINI、LOGLOSS、MACROAUC、MCC

此示例展示了如何在实验中包含自定义评分器。在此示例中，将使用 解释方差评分器 ，这种评分器常用于回归实验。

  1. 通过选择训练数据集以及（可选）验证数据集和测试数据集，然后指定（回归）目标列，在 Driverless AI 中启动实验。

  2. 评分器默认设置为 RMSE。点击 专家设置 。

  3. 使用以下方式之一指定自定义评分器插件：

  • 在本地计算机上，克隆 driverlessai-recipes repository，然后点击 上传客户自定义插件 按钮上传 driverlessai-recipes/scorers/explained_variance.py 文件。

  • 点击 从 URL 加载自定义插件 按钮，然后输入 Python 文件的 URL。（支持文件的 HTML 版本和原始版本。）

请注意：点击 官方插件（开源） 按钮浏览 driverless-recipes 资料库。

Driverless AI 将开始上传并验证新的自定义插件。

  1. 在“实验摘要”页面，选择新的解释方差 (EXPVAR) 评分器。（请注意：如果没有看到 EXPVAR 选项，请返回至“专家设置”，选择 插件 > 包含特定评分器 ，然后点击右上角的 启用自定义 按钮。点击 完成 ，然后点击 保存 以返回至“实验摘要”。）

  2. 编辑任何其他实验设置，然后点击 启动实验 。此实验将使用自定义解释方差评分器运行。

Scorer Recipe example