解释模型

模型解释可在 Driverless AI 实验中运行,亦可对外部模型(即不是由 Driverless AI 构建的模型)创建的预测结果运行。

使用已完成实验页面的 解释此模型 按钮,即可针对原始特征和转换特征对 Driverless AI 模型进行解释。您还可点击顶部导航菜单中的 MLI 链接来解释 Driverless AI 模型或外部模型。

解释 Driverless AI 模型

可通过顶部主菜单中的 MLI 页面或已完成实验页面,对已完成的 Driverless AI 实验进行解释。

注解

  • 此版本不支持在 1.8.9 版及更低版本中运行的实验。1.8.9 版及更低版本中的实验不支持 MLI 迁移。这意味着,您不能直接对使用 1.8.9 版及更低版本构建的 Driverless AI 模型运行解释,但仍可查看使用这些版本构建的解释。

  • 无监督学习模型不支持 MLI。

  • 图像或多类别时间序列实验不支持 MLI。

  • MLI 无需互联网连接便可在当前模型上运行。

  • 若需指定 MLI 使用的特定 H2O 实例的端口,可使用 h2o_port config.toml 设置。您还可通过 h2o_ip 设置指定 MLI 使用的 IP 地址。

从 MLI 页面运行解释

此方法让您能对 Driverless AI 模型运行模型解释。此方法类似于在实验摘要页面上点击 “解释此模型” ,但可通过 MLI 专家设置插件 提供更多控制。

  1. 在 UI 右上角点击 MLI 链接以查看已解释模型的列表。

  2. 点击 新建解释 按钮。

  3. 对于您将进行解释的模型,选择曾用于训练此模型的数据集。

  4. 指定您想要用于解释的 Driverless AI 模型。然后选择该模型所使用的目标列。

  5. (可选)指定要运行的 MLI recipes (或解释器)。这还包括自动报告。

  6. (可选)指定运行此解释时要使用的任何其他 MLI Expert SettingsExplainer (recipe) specific settings.

  7. (可选)指定一个权重列。

  8. (可选)指定一个或多个删除列。构建模型时已删除的列在解释时将自动删除。

  9. 点击 启动 MLI 按钮。

Interpret DAI Model

从已完成实验页面运行解释

在已完成实验页面点击 解释此模型 按钮,可为此实验启动模型解释。请注意,如果您希望通过解释器的 专家设置 或(自定义) 插件 来控制 MLI 运行,请从 MLI 页面构建模型。

解释包括摘要、使用已构建的 Driverless AI 模型的解释和使用替代模型(基于 Driverless AI 模型预测结果所构建)的解释。请参阅 了解“模型解释”页面 ,了解绘图的详细信息。

这些绘图是交互式的,并且可通过点击 操作 按钮来下载日志/工件。

对于非时间序列的实验,此页面为经过训练的 Driverless AI 模型及其结果提供了多项直观解释和原因码。本章后面的 Understanding the Model Interpretation Page 一节提供了更多关于此页面的信息。

Interpret this Model button

解释外部模型的预测结果

并非一定要对 Driverless AI 实验上运行模型解释。您可以训练一个外部模型并对此模型的预测结果运行“模型可解释性”功能。此操作可通过 MLI 页面中进行。

  1. 在 UI 右上角点击 MLI 链接以查看已解释模型的列表。

  2. 点击 新建解释 按钮。

  3. 选择模型 选项保留不选

  4. 选择您想要用于模型解释的数据集。此数据集必须包括外部模型生成的预测列。如果数据集中没有预测结果,则您可以加入外部预测结果。“信用卡演示”中 对外部模型预测结果运行模型解释 一节提供了关于如何在 Python 中进行此操作的示例。

  5. 指定目标列(实际值)和预测列(外部模型的评分)。

  6. (可选)指定运行此解释时要使用的任何其他 MLI Expert Settings.

  7. (可选)指定一个权重列。

  8. (可选)指定一个或多个删除列。构建模型时已删除的列在解释时将自动删除。

  9. 点击 启动 MLI 按钮。

请注意:对外部模型运行解释时,将 选择模型 选项保留不选。因为此选项用于选择 Driverless AI 模型。

Interpret External Model

生成的解释包括使用替代模型和摘要创建的绘图和解释。更多信息,请参阅 了解“模型解释”页面.

解释器插件

Driverless AI 机器学习可解释性为模型解释提供多种立即可用的解释器插件,running a new interpretation from the MLI page. 时可以将其启用。有关这些插件生成的解释的详细信息可在 here. 找到。解释器特定专家设置列表可在 here. 找到。以下是可用插件列表:

  • 绝对排列特征重要性

  • AutoDoc

  • 差异影响分析

  • 可解释性数据 ZIP(替代和 Shapley 方法)

  • NLP 留一协变量输出 (LOCO)

  • NLP 部分依赖性图

  • NLP 记号赋予器

  • NLP 向量化器 + 线性模型 (VLM) 文本特征重要性

  • 原始特征重要性

  • 部分依赖性图

  • 相对排列特征重要性

  • 敏感性分析

  • 原始特征的 Shapley 摘要图(朴素 Shapley 方法)

  • 原始特征的 Shapley 值(内核 SHAP 方法)

  • 原始特征的 Shapley 值(朴素方法)

  • 转换特征的 Shapley 值

  • 替代决策树

  • 替代 Random Forest 重要性

  • 替代 Random Forest 留一协变量输出 (LOCO)

  • 替代 Random Forest 部分依赖性图

  • 转换特征重要性

  • k-LIME/LIME-SUP

    Interpretation recipes default

此插件列表是可扩展的,并且用户可以创建 自定义插件 。更多信息,请参阅 MLI 自定义插件.

Interpretation recipes default

解释专家设置

MLI page 进行解释时,解释专家设置 面板中提供多种配置选项,可让您对解释进行自定义。其中还为某些插件提供了插件特定的设置。使用搜索栏可完善设置列表或查找特定设置。

更多关于各项设置的信息,请参阅 解释专家设置 。另请参阅 see ,了解解释器(插件)特定的专家设置。

Interpretation Expert Settings

请注意

  • 需要根据您想要解释的模型类型和所指定的 LIME 方法来选择可用的专家设置。

  • 专家设置不适用于时间序列模型。

插件(解释器)中的专家设置

对于某些 recipes ,例如, Driverless AI Partial dependenceDisparate Impact Analysis (DIA) 解释器和 DT (Decision Tree) Surrogate explainer ,某些设置可从插件页面进行切换。此外,启用 Original Kernel SHAP explainer 等插件可以添加新的专家设置选项。

请参阅 解释器(插件)专家设置 ,了解更多关于解释器特定专家设置的信息。

Recipe expert settings