Minio 설정¶
이 섹션에서는 Driverless AI를 Minio. 와 함께 작동하도록 구성하는 방법에 관해 설명합니다. S3와 다르게, Minio 데이터 커넥터가 지정된 경우 인증도 구성해야 합니다.
Note: Docker 설치 버전에 따라, Driverless AI Docker 이미지를 시작할 때는 docker run --runtime=nvidia
(Docker 19.03 이후) 또는 nvidia-docker
(Docker 19.03 이전) 명령을 사용하십시오. 사용 중인 Docker 버전을 확인하려면 docker version
을 사용하십시오.
구성 속성에 관한 설명¶
minio_endpoint_url
: Minio에 액세스하는 데 사용되는 엔드포인트 URL.minio_access_key_id
: Minio 액세스 키.minio_secret_access_key
: Minio 비밀 액세스 키.minio_skip_cert_verification
: 이것이 true로 설정되어 있으면, Minio 커넥터는 인증서 확인을 건너뜁니다. false로 기본 설정되어 있습니다.enabled_file_systems
: 활성화할 파일 시스템. 데이터 커넥터를 제대로 작동시키려면 이 시스템을 구성해야 합니다.
인증을 통한 Minio의 활성화¶
이 예제에서는 엔드포인트 URL, 액세스 키 ID 및 액세스 키를 패스하여 인증으로 Minio 데이터 커넥터를 활성화합니다. 또한 네임 노드의 이름과 IP를 패스하여 Docker DNS를 구성합니다. 이를 통해 사용자는 엔드포인트 URL(예: http://<endpoint_url>/<bucket>/datasets/iris.csv)을 사용하여 Minio에 저장된 데이터를 직접적으로 참조할 수 있습니다.
nvidia-docker run \
--shm-size=256m \
--add-host name.node:172.16.2.186 \
-e DRIVERLESS_AI_ENABLED_FILE_SYSTEMS="file,minio" \
-e DRIVERLESS_AI_MINIO_ENDPOINT_URL="<endpoint_url>"
-e DRIVERLESS_AI_MINIO_ACCESS_KEY_ID="<access_key_id>" \
-e DRIVERLESS_AI_MINIO_SECRET_ACCESS_KEY="<access_key>" \
-e DRIVERLESS_AI_MINIO_SKIP_CERT_VERIFICATION="false" \
-p 12345:12345 \
--init -it --rm \
-v /tmp/dtmp/:/tmp \
-v /tmp/dlog/:/log \
-v /tmp/dlicense/:/license \
-v /tmp/ddata/:/data \
-u $(id -u):$(id -g) \
h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx
이 예제에서는 config.toml 파일에서 Minio 옵션을 구성하는 방법과 Docker에서 Driverless AI를 시작할 때 해당 파일을 지정하는 방법을 보여줍니다.
Driverless AI config.toml file 파일을 구성하십시오. 다음 구성 옵션을 설정하십시오.
enabled_file_systems = "file, upload, minio"
minio_endpoint_url = "<endpoint_url>"
minio_access_key_id = "<access_key_id>"
minio_secret_access_key = "<access_key>"
minio_skip_cert_verification = "false"
config.toml 파일을 Docker 컨테이너에 마운트하십시오.
nvidia-docker run \ --pid=host \ --init \ --rm \ --shm-size=256m \ --add-host name.node:172.16.2.186 \ -e DRIVERLESS_AI_CONFIG_FILE=/path/in/docker/config.toml \ -p 12345:12345 \ -v /local/path/to/config.toml:/path/in/docker/config.toml \ -v /etc/passwd:/etc/passwd:ro \ -v /etc/group:/etc/group:ro \ -v /tmp/dtmp/:/tmp \ -v /tmp/dlog/:/log \ -v /tmp/dlicense/:/license \ -v /tmp/ddata/:/data \ -u $(id -u):$(id -g) \ h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx
이 예제에서는 엔드포인트 URL, 액세스 키 ID 및 액세스 키를 패스하여 인증으로 Minio 데이터 커넥터를 활성화합니다. 또한 Minio endpoint의 이름과 IP를 패스하여 Docker DNS를 구성합니다. 이를 통해 사용자는 엔드포인트 URL(예: http://<endpoint_url>/<bucket>/datasets/iris.csv)을 사용하여 Minio에 저장된 데이터를 직접적으로 참조할 수 있습니다.
Driverless AI config.toml 파일을 내보내거나 ~/.bashrc에 추가합니다. 아래 예를 참조하십시오.
# DEB and RPM export DRIVERLESS_AI_CONFIG_FILE="/etc/dai/config.toml" # TAR SH export DRIVERLESS_AI_CONFIG_FILE="/path/to/your/unpacked/dai/directory/config.toml"
config.toml 파일에서 아래 구성 옵션을 지정하십시오.
# File System Support # upload : standard upload feature # file : local file system/server file system # hdfs : Hadoop file system, remember to configure the HDFS config folder path and keytab below # dtap : Blue Data Tap file system, remember to configure the DTap section below # s3 : Amazon S3, optionally configure secret and access key below # gcs : Google Cloud Storage, remember to configure gcs_path_to_service_account_json below # gbq : Google Big Query, remember to configure gcs_path_to_service_account_json below # minio : Minio Cloud Storage, remember to configure secret and access key below # snow : Snowflake Data Warehouse, remember to configure Snowflake credentials below (account name, username, password) # kdb : KDB+ Time Series Database, remember to configure KDB credentials below (hostname and port, optionally: username, password, classpath, and jvm_args) # azrbs : Azure Blob Storage, remember to configure Azure credentials below (account name, account key) # jdbc: JDBC Connector, remember to configure JDBC below. (jdbc_app_configs) # hive: Hive Connector, remember to configure Hive below. (hive_app_configs) # recipe_url: load custom recipe from URL # recipe_file: load custom recipe from local file system enabled_file_systems = "file, minio" # Minio Connector credentials minio_endpoint_url = "<endpoint_url>" minio_access_key_id = "<access_key_id>" minio_secret_access_key = "<access_key>" minio_skip_cert_verification = "false"
완료되면 변경 사항을 저장하고 Driverless AI를 중지/재시작하십시오.