实验摘要¶

每个已完成的实验均有实验摘要。点击 下载摘要和日志 按钮以下载 h2oai_experiment_summary_<experiment>.zip 文件。

实验摘要 zip 中的文件提供了 Driverless AI UI 中展示的图表视图的文本解释。每个工件的详细信息如下所述。

实验 AutoDoc¶

实验摘要中包含了报告文件 (AutoDoc)。此报告提供了针对训练数据和任何检测到的分布移位、所选择的验证模式、模型参数调优、特征演变以及实验过程中选择的最终特征集的见解。更多信息，请参阅使用 AutoDoc.

实验工件概述¶

实验摘要中包含了提供实验概览的工件。

preview.txt：提供实验预览。（这与启动实验前在 UI 中提供的信息相同。）
summary：提供相同的实验摘要，显示在实验 UI 右下部分。（以 txt 或 json 格式提供。）
config.json：提供实验中使用的设置列表。
config_overrides_toml_string.txt：提供此实验对 config.toml 文件所进行的任何覆盖。
args_do_auto_dl.json：根据数据集以及准确度、时间和可解释性设置，Driverless AI 实验中使用的内部参数。
experiment_column_types.json：提供实验中包含的每一列的列类型。
experiment_original_column.json：实验使用的数据集中所有可用列的列表。
experiment_pipeline_original_required_columns.json：实验中使用的列，包括列的名称和类型。
experiment_sampling_description.json：关于数据集抽样的描述。
timing.json：Driverless AI 管道每个部分生成的模型时间和数量。

调优工件¶

Driverless AI 实验过程中，执行模型调优以确定用于所提供数据集的最优算法和参数设置。对于回归问题，还会执行目标调优以确定表示目标列的最佳方式（即，对目标列的数据取对数以改善结果）。这些调优步骤的结果将在实验摘要中提供。

tuning_leaderboard：所执行的模型调优表格以及模型生成的评分和训练时间。（以 txt 或 json 格式提供。）
target_transform_tuning_leaderboard.txt：应用于目标列的转换器表格以及模型生成的评分和训练时间。（对于二元分类和多类别用例，此处为空白。）

特征工件¶

Driverless AI 会对数据集执行特征工程，以确定数据的最优表示形式。最终模型中使用的主要特征可在 GUI 中查看。最终模型中使用的完整特征列表在实验摘要工件部分提供。

实验摘要还提供原始特征列表及其估计特征重要性。例如，如果指定了最终 Driverless AI 模型中的特征，我们可以估计原始特征的特征重要性。

特征

特征重要性

NumToCatWoE:PAY_AMT2

1

PAY_3

0.92

ClusterDist9:BILL_AMT1:LIMIT_BAL:PAY_3

0.90

若需计算 PAY_3 的特征重要性，我们可以聚合所有使用 PAY_3 的变量的特征重要性。

NumToCatWoE:PAY_AMT2: 1 * 0（不使用 PAY_3.）
PAY_3: 0.92 * 1（PAY_3 是唯一使用的变量。）
ClusterDist9:BILL_AMT1:LIMIT_BAL:PAY_3: 0.90 * 1/3（PAY_3 是使用的三个变量之一。）

估计特征重要性 = (1*0) + (0.92*1) + (0.9*(1/3)) = 1.22

请注意：特征重要性已转换为相对特征重要性。（对于估计特征重要性最高的特征，其相对特征重要性为 1。）

ensemble_features：最终模型中使用的特征列表、特征说明和相对特征重要性。使用与最终集成模型相同的权重将多个模型的特征重要性进行线性混合。（以 txt、表格或 json 格式提供。）
ensemble_features_orig：最终模型中使用的所有原始特征的完整列表、特征说明、相对特征重要性和相对重要性的标准偏差。（以 txt 或 json 格式提供。）
ensemble_features_orig_shift：最终模型中使用的原始用户特征列表以及最终模型和最终模型群体的相应特征重要性之间的相对特征重要性差异。（以 txt 或 json 格式提供。）
ensemble_features_prefit：最终模型群体中最佳个体模型使用的特征列表，如果集成模型进行了混合，则使用与集成模型相同的权重将每个模型进行混合。（以 txt、表格或 json 格式提供。）
ensemble_features_shift：最终模型中使用的特征列表以及最终模型和最终模型群体相应的特征重要性之间的相对特征重要性差异。（以 txt、table 或 json 格式提供。）
features：最佳个体管道（由遗传算法确定）使用的特征列表和每个特征的相对重要性。（以 txt、表格或 json 格式提供。）
features_orig：最佳个体管道（由遗传算法确定）使用的原始用户特征列表和每个特征的估计相对重要性。（以 txt 或 json 格式提供。）
leaked_features.json：所提供的所有已泄露的特征列表以及相对重要性和相对重要性的标准偏差。（以 txt、表格或 json 格式提供。）
leakage_features_orig.json：所提供的已泄露的原始特征列表以及最终模型中被泄露的各原始特征的估计相对特征重要性。
shift_features.json：所提供的所有特征列表以及各特征的相对重要性和相对重要性的标准偏差移位。
shifit_features_orig.json：所提供的原始特征列表以及最终模型中各原始特征的相对特征重要性的估计移位值。

最终模型工件¶

实验摘要中包含了用于描述最终模型的工件。此模型用于对新数据集进行评分并构建 MOJO 评分管道。根据准确度设置，最终模型可能是多个模型的集成。

coefs：特征的系数列表和系数标准偏差。（以文本或 json 格式提供。）
ensemble.txt：最终模型摘要，包括模型说明、增益/提升表、混淆矩阵和评分器列表上最终模型的评分。
ensemble_base_learner_fold_scores：当最终模型是一个集成模型时，为每个基础学习器的内部验证评分器指标。（以表格或 json 格式提供。）请注意，此指标不适用于时间序列实验。
ensemble_description.txt：描述最终模型的句子。（例如：”使用 ensemble_level=0 的最终 TensorFlowModel 管道将 21 个原始特征转换为每个模型中的 54 个特征，每个特征对完整的训练数据进行拟合（即，不采用保持）。”）
ensemble_coefs：集成模型中每个特征的系数和标准偏差系数。（以 txt 或 json 格式提供。）
ensemble_coefs_shift：集成模型中每个特征的系数和系数移位。（以 txt 或 json 格式提供。）
ensemble_model_description.json/ensemble_model_extra_description：用于说明模型的 json 文件，对于集成模型而言，可用于描述如何计算模型预测结果的权重。
ensemble_model_params.json：用于描述模型参数的 json 文件。
ensemble_folds_data.json：用于说明最终模型所用折叠的 json 文件。包括每次数据折叠的大小和每次折叠时最终模型的性能。（指定了折叠列时可用。）
ensemble_features_orig：所提供的原始特征列表以及集成模型中各原始特征的相对特征重要性的估计值。（以 txt 或 json 格式提供。）
ensemble_features：最终集成模型中使用的所有特征的完整列表、特征描述和相对特征重要性。（以 txt、表格或 json 格式提供。）
leakage_coefs.json：泄露特征的系数列表和系数标准偏差。
pipeline：实验管道的可视化表示形式。
shift_coefs.json：实验中使用的系数列表和系数的标准偏差移位。

实验摘要中还包含与最终模型性能有关的工件。

ensemble_scores.json：评分器列表中最终模型的所得评分。
ensemble_confusion_matrix_test：如果提供了测试数据，则为测试数据的混淆矩阵。请注意，此工件不适用于时间序列实验。
ensemble_confusion_matrix_with_validation：内部验证数据的混淆矩阵。请注意，此工件不适用于时间序列实验。
ensemble_confusion_matrix_stats_validation：内部验证数据的混淆矩阵统计信息。请注意，此工件不适用于时间序列实验。
ensemble_confusion_matrix_stats_test.json：测试数据的混淆矩阵统计信息。仅在提供了测试数据时可使用。请注意，此工件不适用于时间序列实验。
ensemble_gains_test：如果提供了测试数据，则为测试数据的提升和增益表。（可在 UI 中查看提升和增益的视图。）请注意，此工件不适用于时间序列实验。
ensemble_gains_with_validation：内部验证数据的提升和增益表。（可在 UI 中查看提升和增益的视图。）请注意，此工件不适用于时间序列实验。
ensemble_roc_test：如果提供了测试数据，则为测试数据的 ROC 和 P-R 表。（可在 UI 中查看 ROC 和 P-R 曲线视图。）请注意，此工件不适用于时间序列实验。
ensemble_roc_with_validation：内部验证数据的 ROC 和 P-R 表。（可在 UI 中查看 ROC 和 P-R 曲线视图。）请注意，此工件不适用于时间序列实验。
fs_normalized_varimp：归一化的频率变量重要性值。（以表格或 json 格式提供。）请注意，此工件不适用于时间序列实验。
fs_unnormalized_varimp：未归一化的频率变量重要性值。（以表格或 json 格式提供。）请注意，此工件不适用于时间序列实验。
individual_scored.params_base：关于实验中运行的每次迭代的详细信息。（可以 csv、表格或 json 格式提供。）