新建实验¶
通过选择您想要使用的训练数据集旁的 [点击操作] 按钮来运行实验。点击 预测 即可启动实验。
“实验设置”表单将显示所选数据集并将其自动进行填充。可选择为此实验输入自定义名称。如果您不添加名称，则 Driverless AI 将会为您创建一个名称。
可选择指定验证数据集和/或测试数据集。
验证集用于调优参数（模型、特征等）。如果未提供验证数据集，则将使用训练数据（使用保持拆分）。如果提供了验证数据集，则训练数据将不用于参数调优，而仅用于训练。验证数据集有助于针对移位数据分布改善泛化性能。
测试数据集用于最终阶段的评分，并将针对此数据集计算模型指标。测试集预测结果将在实验结束时提供。在训练建模管道期间不会使用此数据集。
请记住，这些数据集必须与训练数据集有相同的列数。还请注意，如果提供了验证集，由于不会对其进行抽样，因此即使准确度 = 1（这将减小训练集），仍可能会导致占用大量内存。
指定目标（响应）列。请注意，并非所有解释性功能均能用于多类别分类场景（有两个以上结果）。选择目标列后，Driverless AI 将自动提供目标列类型和行数。如果是分类问题，则 UI 将展示数字列的唯一和频率统计信息（目标频率/最高频率）。如果是回归问题，则 UI 将展示数据集平均值和标准偏差值。
关于频率的注意事项：
对于在 1.0.19 及更低版本中导入的数据，TARGET FREQ 和 MOST FREQ 表示数字目标列中最低频类别的计数以及分类目标列中最高频类别的计数。
对于在 1.0.20 - 1.0.22 版本中导入的数据，TARGET FREQ 和 MOST FREQ 表示二项目标列中目标类别（按字母顺序排列的第二类别）的频率、分类多项目标列中最高频类别的计数，以及数字多项目标列中最低频类别的计数。
对于在 1.0.23 版（及更高版本）中导入的数据，TARGET FREQ 是二项目标列中目标类别的频率，而 MOST FREQ 是多项目标列中最高频类别的频率。
下一步是设置实验的参数和设置。（更多关于这些设置的信息，请参阅 实验设置 一节。）您可以单独设置参数，或者您可以让 Driverless AI 推测参数，然后覆盖与您需求不一致的任何参数。可用参数和设置包括：
删除列：我们不想用作预测因子的列，例如 ID 列、存在数据泄露的列等。
权重列 ：显示每行观测值权重的列。如果被指定为“无”，则每行的观测值权重为 1。
折叠列 ：用于指示折叠的列。如果被指定为 “无”，则将由 Driverless AI 确定折叠。如果使用了验证集，则此参数将被设置为”禁用”。
时间列 ：如适用，则为提供时间顺序的列。如果指定为“自动”，则 Driverless AI 将自动检测潜在的时间顺序。如果指定为“关闭”，则将禁用自动检测功能。如果使用了验证集，则此参数将设置为”禁用”。
指定用于此实验的 评分器 。可用评分器将因实验是分类实验还是回归实验而异。评分器包括：
回归：GINI、MAE、MAPE、MER、MSE、R2、RMSE（默认）、RMSLE、RMSPE、SMAPE、TOPDECILE
分类：ACCURACY、AUC（默认）、AUCPR、F05、F1、F2、GINI、LOGLOSS、MACROAUC、MCC
指定所需的相对准确度（1 到 10）
指定所需的相对时间（1 到 10）
指定所需的相对可解释性（1 到 10）
Driverless AI 将自动推测准确度、时间和可解释性的最佳设置，并基于以上建议向您提供实验预览。如果您调整这些旋钮，则实验预览将根据新设置自动更新。
专家设置（可选）：
其他设置（可选）：
分类 或 回归 按钮。Driverless AI 将根据响应列自动确定问题类型。尽管我们不建议这样操作，但是您可以通过点击此按钮来覆盖此项设置。
可再现 ：此按钮让您能使用随机数种子创建实验并获得可再现的结果。如果禁用（默认）此项设置，则每次运行的结果都将不同。
启用 GPU：指定是否启用 GPU。（请注意，在仅使用 CPU 的系统中，将忽略此选项。）
设置完成后，查看实验预览以了解每项设置的含义。请注意：当通过 专家设置 更改所使用的算法时，您可能会留意到并未应用这些更改。Driverless AI 会根据这些专家设置的层次结构来确定是否使用模型和/或插件。更多信息，请参阅常见问题解答 Why do my selected algorithms not show up in the Experiment Preview?.
点击 启动实验 以开始实验。
使用随机生成的实验名称启动实验。在实验过程中或实验完成后，您可以随时更改此名称。将鼠标悬停在实验名称上，即可查看编辑图标，然后输入所需名称。
实验运行时，将在 UI 上方中间处显示运行状态。首先，Driverless AI 会检查后台并确定 GPU 是否正在运行。然后开始进行参数调优，之后再进行特征工程。最后，Driverless AI 将构建评分管道。
了解实验页面¶
除运行状态外，在实验运行过程中，UI 还将显示以下内容：
数据集的详细信息。
每个交叉验证折叠的迭代数据（内部验证）以及指定的评分器。点击特定的一次迭代或拖动以查看一系列迭代。双击图表可重置视图。在此图表中，每一 “列” 表示实验的一次迭代。在迭代过程中，Driverless AI 将训练 \(n\) 模型。（在实验预览中称为个体模型。）因此，对于任何列，您均可在此图表中查看每次迭代中 \(n\) 模型的评分值。
变量重要性值。若需查看特定迭代的变量重要性，只需在迭代数据图表中选择此次迭代即可。变量重要性列表将自动更新，以展示此次迭代的变量重要性信息。将鼠标悬停在某个条目上可查看更多信息。
请注意：
转换特征名称规则将按以下方式编码：
<transformation/gene_details_id>_<transformation_name>:<orig>:<…>:<orig>.<extra>
因此在
32_NumToCatTE:BILL_AMT1:EDUCATION:MARRIAGE:SEX.0中，例如：
32_为用于特定转换参数的转换指数。
NumToCatTE是转换类型。
BILL_AMT1:EDUCATION:MARRIAGE:SEX表示使用的原始特征。
0表示在按特征进行分组（此处显示为BILL_AMT1、EDUCATION、MARRIAGE和SEX）和进行折外估算后 target[0] 的似然编码。对于多类实验，此值 > 0。对于二元实验，此值始终为 0。
将鼠标悬停在某个条目上时，您可能会留意到术语 “内部 […] 规范。”此标签用于不需要翻译/解释的特征并确保所有特征均有唯一标识。
显示的值对于模型类别的变量重要性而言是特定的。
XGBoost 和 LightGBM：增益变量重要性。基于增益的重要性将根据特定变量给模型带来的增益进行计算。就决策树而言，基于增益的重要性将累计由给定变量拆分数据时产生的增益。基于增益的重要性将被归一化至 0 到 1 之间。如果一个变量在模型中从未被使用，则基于增益的重要性将为 0。
GLM：变量重要性是每个预测器系数的绝对值。将变量重要性归一化至 0 到 1 之间。如果一个变量在模型中从未被使用，则重要性将为 0。
TensorFlow：TensorFlow 采用此论文：https://www.ncbi.nlm.nih.gov/pubmed/9327276 中介绍的 Gedeon 方法。
RuleFit：将特征对每项规则的贡献的求和。具体地说，Driverless AI：
将所有特征的重要性赋值为零。
扫描所有规则。如果某个特征存在于此规则中，则 Driverless AI 将其贡献（即，规则的系数绝对值）加入到整体特征重要性中。
归一化重要性。
变量重要性移位的计算根据集成级别确定：
集成级别 = 0：在最后一次最佳遗传算法 (GA) 和单个最终模型之间确定移位。
集成级别 >= 1：用于最终模型的 GA 个体具有融合了模型元学习器权重的变量重要性，而最终模型其自身则具有融合了其最终权重的变量重要性。变量重要性的移位将在两种最终变量重要性融合之间确定。
如果移位超过了
max_num_varimp_shift_to_log配置选项指定的绝对幅值，则将在日志或 GUI 中报告此信息。实验摘要还包括了 experiment_features_shift 文件，其中含有关于移位的信息。
CPU/内存信息以及 Insights （时间序列实验）、 Scores、通知、日志和跟踪信息。（请注意，跟踪适用于开发/调试并可用来展示系统当时正在执行的操作。）
对于分类问题，右下部分有一个切换键，可在 ROC 曲线、P-R 曲线、提升图、增益图和 GPU 使用量信息（如果可使用 GPU）之间进行切换。对于回归问题，右下部分有一个切换键，可在残差图、实际值与预测值对比图和 GPU 使用量信息（如果可使用 GPU）之间进行切换。（更多信息，请参阅 实验图表 一节。）完成后，实验摘要部分将填充在右下部分。
实验屏幕底部将显示 Driverless AI 遇到的任何警告。您可以通过点击 x 图标隐藏此窗格。
完成/中止实验¶
您可以完成和/或中止目前正在运行的实验。
完成：点击 完成 按钮可停止正在运行的实验。Driverless AI 会完成此实验，然后完成集成和部署包。
中止：点击 完成 按钮后，您可选择点击 中止 以终止实验。（系统将提示您确认是否中止。）已中止的实验在实验页面上将显示为失败。您可以点击实验右侧，然后选择 从最后一个检查点重新 ，从而重新启动已中止的实验。这将基于已中止的实验创建一个新实验。或者，您可以选择 新实验采用相同设置 ，从而基于已中止的实验启动新实验。更多信息，请参阅 设置检查点、重新运行和重新训练 一节。
