S3 设置

Driverless AI 允许您在 Driverless AI 应用程序内搜索 S3 数据源。本节介绍如何配置 Driverless AI 与 S3 配合使用。

请注意：根据您所安装的 Docker 版本，在启动 Driverless AI Docker 映像时，使用 docker run --runtime=nvidia (>= Docker 19.03) 或 nvidia-docker (< Docker 19.03) 命令。使用 docker version 检查所使用的 Docker 版本。

配置属性说明

  • aws_access_key_id: S3 访问密钥 ID。

  • aws_secret_access_key: S3 访问密钥。

  • aws_role_arn: Amazon 资源名称

  • aws_default_region: 当没有设置 aws_s3_endpoint_url 选项时需使用的区域。当已设置 aws_s3_endpoint_url 时，会忽略此区域。

  • aws_s3_endpoint_url: 用于访问 S3 的端点 URL。

  • aws_use_ec2_role_credentials: 如果设置为 true，S3 连接器会尝试获取与附加给 EC2 实例的角色相关的凭据。

  • s3_init_path: UI S3 浏览器中将显示的起始 S3 路径。

  • enabled_file_systems: 您要启用的文件系统。为使数据连接器正常运行，必须进行此项配置。

示例 1：启用无身份验证的 S3。

此示例启用了 S3 数据连接器，并禁用了身份验证。其并不传递任何 S3 访问密钥或密码，但会通过传递 S3 名称节点的名称和 IP 地址来配置 Docker DNS。这允许用户直接使用名称节点地址（如 s3://name.node/datasets/iris.csv）引用 S3 中储存的数据。

 nvidia-docker run \
            --shm-size=256m \
            --add-host name.node:172.16.2.186 \
            -e DRIVERLESS_AI_ENABLED_FILE_SYSTEMS="file,s3" \
            -p 12345:12345 \
            --init -it --rm \
            -v /tmp/dtmp/:/tmp \
            -v /tmp/dlog/:/log \
            -v /tmp/dlicense/:/license \
            -v /tmp/ddata/:/data \
            -u $(id -u):$(id -g) \
            h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx

示例 2：启用有身份验证的 S3。

此示例通过传递 S3 访问密钥 ID 和访问密钥来启用 S3 数据连接器。其通过传递 S3 名称节点的名称和 IP 地址来配置 Docker DNS。这允许用户直接使用名称节点地址（如 s3://name.node/datasets/iris.csv）引用 S3 中储存的数据。

      nvidia-docker run \
                     --shm-size=256m \
                     --add-host name.node:172.16.2.186 \
                     -e DRIVERLESS_AI_ENABLED_FILE_SYSTEMS="file,s3" \
                     -e DRIVERLESS_AI_AWS_ACCESS_KEY_ID="<access_key_id>" \
                     -e DRIVERLESS_AI_AWS_SECRET_ACCESS_KEY="<access_key>" \
                     -p 12345:12345 \
                     --init -it --rm \
                     -v /tmp/dtmp/:/tmp \
                     -v /tmp/dlog/:/log \
                     -v /tmp/dlicense/:/license \
                     -v /tmp/ddata/:/data \
                     -u $(id -u):$(id -g) \
                     h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx