导出工件

在某些情况下,您可能会发现您并不想让用户将工件直接下载至其计算机中。Driverless AI 提供几个配置选项/环境变量,可启用工件导出选项而非下载。工件可导出至文件系统目录、Amazon S3 存储桶、Bitbucket 资料库或 Azure Blob 存储。

请注意:启用导出选项时,将自动禁用工件下载选项。

启用工件导出

config.toml 文件公开了以下变量:

  • enable_artifacts_upload: 将“实验”页面的所有下载选项替换为导出选项,让用户可使用 artifacts_store 推送到工件存储库。默认会禁用此项设置。

  • artifacts_store: 指定以下存储方式之一:

    • file_system: 将工件存储于由 artifacts_file_system_directory 设置指定的文件系统目录中。

    • S3: 将工件存储于由 artifacts_s3_bucket 设置指定的 S3 存储桶中。

    • bitbucket :将工件存储于 Bitbucket 资料库中。

    • Azure :将工件存储于 Azure Blob 存储中。

为您所选择的存储方式指定以下设置:

文件系统目录

  • artifacts_file_system_directory: 文件系统位置,工件将被复制至此。这应该是您服务器上的一个目录。

AWS S3

  • artifacts_s3_bucket: 用于存储工件的 AWS S3 存储桶。

Bitbucket

  • bitbucket_skip_cert_verification :指定是否在通过 HTTPS 使用资料库时跳过对 Bitbucket 证书验证。默认禁用此选项。

  • bitbucket_tmp_relative_dir: 指定本地临时目录,工件将被复制至此(相对于 data_directory)。

Azure Blob 存储

  • artifacts_azure_blob_account_name :指定您的 Azure Blob 存储帐户名称。

  • artifacts_azure_blob_account_key :指定您的 Azure Blob 存储帐户密钥。

  • artifacts_azure_connection_string :指定您的 Azure Blob 存储连接字符串。

请注意:禁用工件下载这一选项并不会影响数据集。用户能否下载数据集由 enable_dataset_downloading 配置选项控制,此选项默认设置为 true 。如果您不想让用户将数据集下载至其本地计算机上,则将此选项设置为 false 。目前没有可允许将数据集导出至文件系统的配置选项。

以下示例展示如何在启动 Driverless AI Docker 映像时启用将工件导出至文件系统的选项。

docker run \
--pid=host \
--rm \
--shm-size=256m \
-e DRIVERLESS_AI_ENABLE_ARTIFACTS_UPLOAD="true" \
-e DRIVERLESS_AI_ARTIFACTS_STORE="file_system" \
-e DRIVERLESS_AI_ARTIFACTS_FILE_SYSTEM_DIRECTORY="tmp" \
-u `id -u`:`id -g` \
-p 12345:12345 \
-v `pwd`/data:/data \
-v `pwd`/log:/log \
-v `pwd`/license:/license \
-v `pwd`/tmp:/tmp \
h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx

导出工件

当启用/配置导出工件选项时, 已完成的实验 页面上的菜单选项会发生变化。具体来讲,所有 “下载” 选项(AutoDoc 除外)均将变为 “导出” 。

Completed experiments menus
  1. 点击工件开始导出。例如,点击 导出摘要和日志

Export summary and logs
  1. 指定文件名称或使用默认的文件名称,即为所导出工件指定的新名称。默认情况下,此名称与所选择的导出工件名称相匹配。

  2. 现在点击 摘要和日志:导出至数据存储 按钮。(请注意,此按钮名称会因您选择的工件而异。)此按钮将启动导出操作。完成后,导出的工件将显示于工件列表中。目录结构为:<path_to_export_to>/<user>/<experiment_id>/

Exported artifact
  1. 继续导出用于实验的其他工件。

Export additional artifacts