设置检查点、重新运行和重新训练实验¶
Driverless AI UI 的右上角显示了 实验 链接。
点击此链接打开“实验”页面。您可以在其中重命名实验、查看之前的实验、开始新的实验、重新运行实验以及删除实验。
设置检查点、重新运行和重新训练¶
在 Driverless AI 中,您可以从最后一个检查点重试实验,可以使用现有实验的设置运行新的实验,还可以对实验的最终管道进行重新训练。
为实验设置检查点¶
在现实世界中,数据会发生变化。例如,您目前的生产环境中可能有一个使用一百万条记录构建的模型。在未来的某一日期,您可能收到几十万条新记录。您并不需要从头开始构建新的模型,Driverless AI 带有 H2O.ai 大脑,其能实现先前模型的高速缓存和智能重用,从而为新模型生成特征。
您可以在实验的 专家设置 中配置一下任一大脑级别。
-1:不使用任何大脑缓存
0:不使用任何大脑缓存,但仍写入缓存
1:如果传入了旧 experiment_id ,则智能地设置检查点(例如,通过在 GUI 上运行 “resume one like this” )
2:如果实验匹配所有列名称、列类型、类、类标签和时间序列选项,则智能地设置检查点。(默认设置)
3:智能地设置检查点(和 1 级相同),但是仅对整个群体设置。只有在大脑群体大小不够时才进行调优。
4:智能地设置检查点(和 2 级相同),但是仅对整个群体设置。只有在大脑群体大小不够时才进行调优。
5:智能地设置检查点(和 4 级相同),但是将对群体的整个大脑缓存进行扫描(如果选择,将从恢复的实验开始),以获取评分最高的个体。
如果您选择 2 级(默认),在合适的时候也会执行 1 级。
若要利用智能设置检查点功能,请确保新数据具有以下特征:
具有与过去实验相同的数据列名称
每个列具有与过去实验相同的数据类型。(如果列为整数并且具有一个字符串行,则不匹配。)
具有与过去实验相同的目标
具有与过去实验相同的目标类(如果为分类)
对于时间序列,与时间区间和间隔相关的所有选择必须相同
当以上条件都满足时,您可以:
开始相同类型的实验,重新运行更长时间。
使用更小或更大的数据集(即更少或更多行)。
通过更改数据行并以新的准确度、时间=1 和可解释性下启动实验,有效完成最终集成调整。检查实验预览,了解集成结果。
重新开始/恢复已取消、已中止或已完成的实验。
若要对现有实验执行智能检查点设置,可点击您想重试的实验右侧,然后选择 从最后一个检查点重新开始 。实验设置页面随即打开。指定新的数据集。如果需要,您也可以更改实验设置,但目标列必须相同。点击 启动实验 从最后一个检查点恢复实验以及构建新的实验。
通过添加先前的模型作为在调优过程中使用的另一模型,可以继续执行智能检查点设置。如果先前模型具有更好的性能(如果为实现更多迭代而运行了该模型,将很有可能),则在特征演变迭代和最终集成过程中会智能地设置模型检查点。
请注意:
Driverless AI 并不保证精确地延续,仅保证从最后一检查点智能地延续。
存储 H2O.ai 大脑元模型的目录为 tmp/H2O.ai_brain 。另外,默认的最大大脑容量为 20GB。在 config.toml 文件中可以更改目录和最大容量。
重新运行实验¶
若要使用现有实验的设置运行新的实验,可点击您要用作新实验依据的实验右侧,然后选择 新实验采用相同设置 。这样会打开“实验设置”页面。在此页面中,您可以使用原始设置重新运行实验,或指定使用新数据和/或指定不同的实验设置。点击 启动实验,以创建具有相同的选项的新实验。
重新训练/调整¶
若要重新训练实验的最终管道,可点击您要用作新实验依据的实验旁的一组方形图标,点击 重新训练/调整 ,然后选择 从最后一个检查点 。这样会打开“实验设置”页面,其中显示的设置与原始实验相同,只是时间设置为 0。
请注意:在重新训练实验的最终管道时, Driverless AI 也会对实验的最终模型进行调整。这可能包括添加新的特征、排除过去使用的特征、更改超参数搜索空间或为现有模型架构查找新参数。
若要在不添加新特征的情况下重新训练最终管道,请选择 从最佳模型 选项,此选项将覆盖以下 config.toml 选项:
refit_same_best_individual=True
brain_add_features_for_new_columns=False
feature_brain_reset_score="off"
force_model_restart_to_defaults=False
更多信息,请参考 config.toml 文件中的 feature_brain_level
设置。
注解
关于“重新训练/调整”选项的等效 Python client 调用的信息,请参阅以下列表。
新建/继续 - 使用相同设置:
retrain(...)
新建/继续 - 从上一个检查点:
retrain(..., use_smart_checkpoint=True)
重新训练/调整 - 从最后一个检查点
retrain(..., final_pipeline_only=True)
重新训练/调整 - 从最佳模型
retrain( ..., final_pipeline_only=True, brain_add_features_for_new_columns = False, refit_same_best_individual = True, feature_brain_reset_score = 'off', force_model_restart_to_defaults = False )
“暂停” 实验¶
“暂停” 实验的方法是:
中止实验。
在“实验”页面上,针对已中止的实验选择 从最后一个检查点重新开始 。
在“专家设置”页面上,将 ensemble level for the final pipeline 选项的值指定为 0。