设置检查点、重新运行和重新训练实验

Driverless AI UI 的右上角显示了 实验 链接。

Show Experiments link

点击此链接打开“实验”页面。您可以在其中重命名实验、查看之前的实验、开始新的实验、重新运行实验以及删除实验。

View experiments

设置检查点、重新运行和重新训练

在 Driverless AI 中,您可以从最后一个检查点重试实验,可以使用现有实验的设置运行新的实验,还可以对实验的最终管道进行重新训练。

Rerun experiment

为实验设置检查点

在现实世界中,数据会发生变化。例如,您目前的生产环境中可能有一个使用一百万条记录构建的模型。在未来的某一日期,您可能收到几十万条新记录。您并不需要从头开始构建新的模型,Driverless AI 带有 H2O.ai 大脑,其能实现先前模型的高速缓存和智能重用,从而为新模型生成特征。

您可以在实验的 专家设置 中配置一下任一大脑级别。

  • -1:不使用任何大脑缓存

  • 0:不使用任何大脑缓存,但仍写入缓存

  • 1:如果传入了旧 experiment_id ,则智能地设置检查点(例如,通过在 GUI 上运行 “resume one like this” )

  • 2:如果实验匹配所有列名称、列类型、类、类标签和时间序列选项,则智能地设置检查点。(默认设置)

  • 3:智能地设置检查点(和 1 级相同),但是仅对整个群体设置。只有在大脑群体大小不够时才进行调优。

  • 4:智能地设置检查点(和 2 级相同),但是仅对整个群体设置。只有在大脑群体大小不够时才进行调优。

  • 5:智能地设置检查点(和 4 级相同),但是将对群体的整个大脑缓存进行扫描(如果选择,将从恢复的实验开始),以获取评分最高的个体。

如果您选择 2 级(默认),在合适的时候也会执行 1 级。

若要利用智能设置检查点功能,请确保新数据具有以下特征:

  • 具有与过去实验相同的数据列名称

  • 每个列具有与过去实验相同的数据类型。(如果列为整数并且具有一个字符串行,则不匹配。)

  • 具有与过去实验相同的目标

  • 具有与过去实验相同的目标类(如果为分类)

  • 对于时间序列,与时间区间和间隔相关的所有选择必须相同

当以上条件都满足时,您可以:

  • 开始相同类型的实验,重新运行更长时间。

  • 使用更小或更大的数据集(即更少或更多行)。

  • 通过更改数据行并以新的准确度、时间=1 和可解释性下启动实验,有效完成最终集成调整。检查实验预览,了解集成结果。

  • 重新开始/恢复已取消、已中止或已完成的实验。

若要对现有实验执行智能检查点设置,可点击您想重试的实验右侧,然后选择 从最后一个检查点重新开始 。实验设置页面随即打开。指定新的数据集。如果需要,您也可以更改实验设置,但目标列必须相同。点击 启动实验 从最后一个检查点恢复实验以及构建新的实验。

通过添加先前的模型作为在调优过程中使用的另一模型,可以继续执行智能检查点设置。如果先前模型具有更好的性能(如果为实现更多迭代而运行了该模型,将很有可能),则在特征演变迭代和最终集成过程中会智能地设置模型检查点。

请注意

  • Driverless AI 并不保证精确地延续,仅保证从最后一检查点智能地延续。

  • 存储 H2O.ai 大脑元模型的目录为 tmp/H2O.ai_brain 。另外,默认的最大大脑容量为 20GB。在 config.toml 文件中可以更改目录和最大容量。

重新运行实验

若要使用现有实验的设置运行新的实验,可点击您要用作新实验依据的实验右侧,然后选择 新实验采用相同设置 。这样会打开“实验设置”页面。在此页面中,您可以使用原始设置重新运行实验,或指定使用新数据和/或指定不同的实验设置。点击 启动实验,以创建具有相同的选项的新实验。

重新训练/调整

若要重新训练实验的最终管道,可点击您要用作新实验依据的实验旁的一组方形图标,点击 重新训练/调整 ,然后选择 从最后一个检查点 。这样会打开“实验设置”页面,其中显示的设置与原始实验相同,只是时间设置为 0。

请注意:在重新训练实验的最终管道时, Driverless AI 也会对实验的最终模型进行调整。这可能包括添加新的特征、排除过去使用的特征、更改超参数搜索空间或为现有模型架构查找新参数。

若要在不添加新特征的情况下重新训练最终管道,请选择 从最佳模型 选项,此选项将覆盖以下 config.toml 选项:

refit_same_best_individual=True
brain_add_features_for_new_columns=False
feature_brain_reset_score="off"
force_model_restart_to_defaults=False

更多信息,请参考 config.toml 文件中的 feature_brain_level 设置。

注解

关于“重新训练/调整”选项的等效 Python client 调用的信息,请参阅以下列表。

  • 新建/继续 - 使用相同设置:

retrain(...)
  • 新建/继续 - 从上一个检查点:

retrain(..., use_smart_checkpoint=True)
  • 重新训练/调整 - 从最后一个检查点

retrain(..., final_pipeline_only=True)
  • 重新训练/调整 - 从最佳模型

retrain(
...,
final_pipeline_only=True,
brain_add_features_for_new_columns = False,
refit_same_best_individual = True,
feature_brain_reset_score = 'off',
force_model_restart_to_defaults = False
)

“暂停” 实验

“暂停” 实验的方法是:

  1. 中止实验。

  2. 在“实验”页面上,针对已中止的实验选择 从最后一个检查点重新开始

  3. 在“专家设置”页面上,将 ensemble level for the final pipeline 选项的值指定为 0。

删除实验

若要删除实验,可点击您要删除的实验右侧,然后选择 删除 。系统会显示确认消息,询问您是否确认删除。可点击 确定 删除实验,或点击 取消 ,以返回至实验页面而不删除实验。

Delete experiment