数据插件 URL 设置¶
Driverless AI 让您能探索 Driverless AI 应用程序内的数据插件 URL 数据源。本节介绍如何配置 Driverless AI 与本地数据插件 URL 配合使用。启用(默认)时,您将能够修改已添加至 Driverless AI 中的数据集。(更多信息,请参阅 通过自定义数据插件进行修改 .)
请注意:
默认会启用此连接器。倘若此连接器之前已被禁用,而您想要重新启用,便可使用这些步骤。
根据您所安装的 Docker 版本,在启动 Driverless AI Docker 映像时,使用
docker run --runtime=nvidia
(>= Docker 19.03) 或nvidia-docker
(< Docker 19.03) 命令。使用docker version
来检查您使用的 Docker 版本。
启用数据插件 URL¶
此示例启用了数据插件 URL 数据连接器。
nvidia-docker run \
--shm-size=256m \
--add-host name.node:172.16.2.186 \
-e DRIVERLESS_AI_ENABLED_FILE_SYSTEMS="file, recipe_url" \
-p 12345:12345 \
-it --rm \
-v /tmp/dtmp/:/tmp \
-v /tmp/dlog/:/log \
-v /tmp/dlicense/:/license \
-v /tmp/ddata/:/data \
-u $(id -u):$(id -g) \
h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx
此示例展示了如何在 config.toml 文件中启用数据插件 URL 数据连接器并在于 Docker 中启动 Driverless AI 时指定此文件。请注意,默认会在 config.toml 文件中启用 recipe_url
.
配置 Driverless AI config.toml 文件。设置以下配置选项。
enabled_file_systems = "file, upload, recipe_url"
将 config.toml 文件挂载至 Docker 容器。
nvidia-docker run \ --pid=host \ --rm \ --shm-size=256m \ --add-host name.node:172.16.2.186 \ -e DRIVERLESS_AI_CONFIG_FILE=/path/in/docker/config.toml \ -p 12345:12345 \ -v /local/path/to/config.toml:/path/in/docker/config.toml \ -v /etc/passwd:/etc/passwd:ro \ -v /etc/group:/etc/group:ro \ -v /tmp/dtmp/:/tmp \ -v /tmp/dlog/:/log \ -v /tmp/dlicense/:/license \ -v /tmp/ddata/:/data \ -u $(id -u):$(id -g) \ h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx
此示例启用了“数据插件 URL”(Data Recipe URL) 数据连接器。请注意,默认启用 recipe_url
.
导出 Driverless AI config.toml 文件或将其添加至 ~/.bashrc。例如:
# DEB and RPM export DRIVERLESS_AI_CONFIG_FILE="/etc/dai/config.toml" # TAR SH export DRIVERLESS_AI_CONFIG_FILE="/path/to/your/unpacked/dai/directory/config.toml"
在 config.toml 文件中指定以下配置选项。
# File System Support # upload : standard upload feature # file : local file system/server file system # hdfs : Hadoop file system, remember to configure the HDFS config folder path and keytab below # dtap : Blue Data Tap file system, remember to configure the DTap section below # s3 : Amazon S3, optionally configure secret and access key below # gcs : Google Cloud Storage, remember to configure gcs_path_to_service_account_json below # gbq : Google Big Query, remember to configure gcs_path_to_service_account_json below # minio : Minio Cloud Storage, remember to configure secret and access key below # snow : Snowflake Data Warehouse, remember to configure Snowflake credentials below (account name, username, password) # kdb : KDB+ Time Series Database, remember to configure KDB credentials below (hostname and port, optionally: username, password, classpath, and jvm_args) # azrbs : Azure Blob Storage, remember to configure Azure credentials below (account name, account key) # jdbc: JDBC Connector, remember to configure JDBC below. (jdbc_app_configs) # hive: Hive Connector, remember to configure Hive below. (hive_app_configs) # recipe_url: load custom recipe from URL # recipe_file: load custom recipe from local file system enabled_file_systems = "file, recipe_url"
完成后,保存更改,然后停止/重启 Driverless AI。