kdb+ 설정¶

Driverless AI를 통해 Driverless AI 애플리케이션 내에서 kdb+ 데이터 소스를 탐색할 수 있습니다. 이 섹션에서는 kdb+와 함께 작동할 수 있도록 Driverless AI를 구성하기 위한 지침을 제공합니다.

Note: Docker 설치 버전에 따라, Driverless AI Docker 이미지를 시작할 때는 docker run --runtime=nvidia (Docker 19.03 이후) 또는 nvidia-docker (Docker 19.03 이전) 명령을 사용하십시오. 사용 중인 Docker 버전을 확인하려면 docker version 을 사용하십시오.

구성 속성에 관한 설명¶

kdb_user: (옵션) 사용자 이름
kdb_password: (옵션) 사용자 비밀번호
kdb_hostname: KDB 서버의 IP 주소 또는 호스트
kdb_port: kdb + 서버가 수신하는 포트
kdb_app_jvm_args: (옵션) kdb+ 배포용 JVM args(예: -Dlog4j.configuration). 각 인자는 공백으로 구분하십시오.
kdb_app_classpath: (옵션) kdb+ 클래스패스(또는 jar 파일이 다른 곳에 저장된 경우에는 기타).
enabled_file_systems: 활성화할 파일 시스템. 데이터 커넥터를 제대로 작동시키려면 이 시스템을 구성해야 합니다.

예제 1: 인증 없이 kdb+ 활성화¶

본 예제에서는 인증 없이 kdb+ 커넥터를 활성화합니다. 필수 플래그는 호스트 이름과 포트입니다.

 nvidia-docker run \
   --pid=host \
   --init \
   --rm \
   --shm-size=256m \
   --add-host name.node:172.16.2.186 \
   -e DRIVERLESS_AI_ENABLED_FILE_SYSTEMS="file,kdb" \
   -e DRIVERLESS_AI_KDB_HOSTNAME="<ip_or_host_of_kdb_server>" \
   -e DRIVERLESS_AI_KDB_PORT="<kdb_server_port>" \
   -p 12345:12345 \
   -v /tmp/dtmp/:/tmp \
   -v /tmp/dlog/:/log \
   -v /tmp/dlicense/:/license \
   -v /tmp/ddata/:/data \
   -u $(id -u):$(id -g) \
   h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx

본 예제에서는 config.toml 파일에서 kdb+ 옵션을 구성하는 방법과 Docker에서 Driverless AI의 시작 시 해당 파일을 지정하는 방법을 보여줍니다. 본 예제에서는 인증 없이 kdb+를 활성화합니다.

Driverless AI config.toml file 파일을 구성하십시오. 다음 구성 옵션을 설정하십시오.

enabled_file_systems = "file, upload, kdb"

kdb_hostname = <ip_or_host_of_kdb_server>"

kdb_port = "<kdb_server_port>"

config.toml 파일을 Docker 컨테이너에 마운트하십시오.

nvidia-docker run \
  --pid=host \
  --init \
  --rm \
  --shm-size=256m \
  --add-host name.node:172.16.2.186 \
  -e DRIVERLESS_AI_CONFIG_FILE=/path/in/docker/config.toml \
  -p 12345:12345 \
  -v /local/path/to/config.toml:/path/in/docker/config.toml \
  -v /etc/passwd:/etc/passwd:ro \
  -v /etc/group:/etc/group:ro \
  -v /tmp/dtmp/:/tmp \
  -v /tmp/dlog/:/log \
  -v /tmp/dlicense/:/license \
  -v /tmp/ddata/:/data \
  -u $(id -u):$(id -g) \
  h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx

본 예제에서는 인증 없이 kdb+ 커넥터를 활성화합니다. 필수 플래그는 호스트 이름과 포트입니다.

Driverless AI config.toml 파일을 내보내거나 ~/.bashrc에 추가합니다. 아래 예를 참조하십시오.

# DEB and RPM
export DRIVERLESS_AI_CONFIG_FILE="/etc/dai/config.toml"

# TAR SH
export DRIVERLESS_AI_CONFIG_FILE="/path/to/your/unpacked/dai/directory/config.toml"

config.toml 파일에서 아래 구성 옵션을 지정하십시오.

# File System Support
# upload : standard upload feature
# file : local file system/server file system
# hdfs : Hadoop file system, remember to configure the HDFS config folder path and keytab below
# dtap : Blue Data Tap file system, remember to configure the DTap section below
# s3 : Amazon S3, optionally configure secret and access key below
# gcs : Google Cloud Storage, remember to configure gcs_path_to_service_account_json below
# gbq : Google Big Query, remember to configure gcs_path_to_service_account_json below
# minio : Minio Cloud Storage, remember to configure secret and access key below
# snow : Snowflake Data Warehouse, remember to configure Snowflake credentials below (account name, username, password)
# kdb : KDB+ Time Series Database, remember to configure KDB credentials below (hostname and port, optionally: username, password, classpath, and jvm_args)
# azrbs : Azure Blob Storage, remember to configure Azure credentials below (account name, account key)
# jdbc: JDBC Connector, remember to configure JDBC below. (jdbc_app_configs)
# hive: Hive Connector, remember to configure Hive below. (hive_app_configs)
# recipe_url: load custom recipe from URL
# recipe_file: load custom recipe from local file system
enabled_file_systems = "file, kdb"

# KDB Connector credentials
kdb_hostname = <ip_or_host_of_kdb_server>"
kdb_port = "<kdb_server_port>"

완료되면 변경 사항을 저장하고 Driverless AI를 중지/재시작하십시오.

예제 2: 인증을 통해 kdb+ 활성화¶

본 예제에서는 Driverless AI에서 kdb+ 서버에 액세스하기 위한 사용자 자격 증명을 제공합니다.

 nvidia-docker run \
   --pid=host \
   --init \
   --rm \
   --shm-size=256m \
   -e DRIVERLESS_AI_ENABLED_FILE_SYSTEMS="file,kdb" \
   -e DRIVERLESS_AI_KDB_HOSTNAME="<ip_or_host_of_kdb_server>" \
   -e DRIVERLESS_AI_KDB_PORT="<kdb_server_port>" \
   -e DRIVERLESS_AI_KDB_USER="<username>" \
   -e DRIVERLESS_AI_KDB_PASSWORD="<password>" \
   -p 12345:12345 \
   -v /tmp/dtmp/:/tmp \
   -v /tmp/dlog/:/log \
   -v /tmp/dlicense/:/license \
   -v /tmp/ddata/:/data \
   -u $(id -u):$(id -g) \
   h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx

본 예제에서는 config.toml 파일에서 kdb+ 옵션을 구성하는 방법과 Docker에서 Driverless AI의 시작 시 해당 파일을 지정하는 방법을 보여줍니다. 본 예제에서는 인증 없이 kdb+를 활성화합니다.

Driverless AI config.toml file 파일을 구성하십시오. 다음 구성 옵션을 설정하십시오.

enabled_file_systems = "file, upload, kdb"

kdb_user = "<username>"

kdb_password = "<password>"

kdb_hostname = <ip_or_host_of_kdb_server>"

kdb_port = "<kdb_server_port>"

kdb_app_classpath = ""

kdb_app_jvm_args = ""

config.toml 파일을 Docker 컨테이너에 마운트하십시오.

nvidia-docker run \
  --pid=host \
  --init \
  --rm \
  --shm-size=256m \
  --add-host name.node:172.16.2.186 \
  -e DRIVERLESS_AI_CONFIG_FILE=/path/in/docker/config.toml \
  -p 12345:12345 \
  -v /local/path/to/config.toml:/path/in/docker/config.toml \
  -v /etc/passwd:/etc/passwd:ro \
  -v /etc/group:/etc/group:ro \
  -v /tmp/dtmp/:/tmp \
  -v /tmp/dlog/:/log \
  -v /tmp/dlicense/:/license \
  -v /tmp/ddata/:/data \
  -u $(id -u):$(id -g) \
  h2oai/dai-centos7-x86_64:1.10.1-cuda11.2.2.xx

본 예제에서는 Driverless AI에서 kdb+ 서버에 액세스하기 위한 사용자 자격 증명을 제공합니다.

Driverless AI config.toml 파일을 내보내거나 ~/.bashrc에 추가합니다. 아래 예를 참조하십시오.

# DEB and RPM
export DRIVERLESS_AI_CONFIG_FILE="/etc/dai/config.toml"

# TAR SH
export DRIVERLESS_AI_CONFIG_FILE="/path/to/your/unpacked/dai/directory/config.toml"

config.toml 파일에서 아래 구성 옵션을 지정하십시오.

# File System Support
# upload : standard upload feature
# file : local file system/server file system
# hdfs : Hadoop file system, remember to configure the HDFS config folder path and keytab below
# dtap : Blue Data Tap file system, remember to configure the DTap section below
# s3 : Amazon S3, optionally configure secret and access key below
# gcs : Google Cloud Storage, remember to configure gcs_path_to_service_account_json below
# gbq : Google Big Query, remember to configure gcs_path_to_service_account_json below
# minio : Minio Cloud Storage, remember to configure secret and access key below
# snow : Snowflake Data Warehouse, remember to configure Snowflake credentials below (account name, username, password)
# kdb : KDB+ Time Series Database, remember to configure KDB credentials below (hostname and port, optionally: username, password, classpath, and jvm_args)
# azrbs : Azure Blob Storage, remember to configure Azure credentials below (account name, account key)
# jdbc: JDBC Connector, remember to configure JDBC below. (jdbc_app_configs)
# hive: Hive Connector, remember to configure Hive below. (hive_app_configs)
# recipe_url: load custom recipe from URL
# recipe_file: load custom recipe from local file system
enabled_file_systems = "file, kdb"

# kdb+ Connector credentials
kdb_user = "<username>"
kdb_password = "<password>"
kdb_hostname = <ip_or_host_of_kdb_server>"
kdb_port = "<kdb_server_port>"
kdb_app_classpath = ""
kdb_app_jvm_args = ""

완료되면 변경 사항을 저장하고 Driverless AI를 중지/재시작하십시오.

kdb+를 사용하여 데이터 세트 추가¶

kdb+ 커넥터가 활성화된 후, Add Dataset (or Drag and Drop) 드롭다운 메뉴에서 kdb+ 를 선택하여 데이터 세트를 추가할 수 있습니다.

데이터 세트를 추가하려면 다음 정보를 지정하십시오.

Enter filepath to save query. 데이터 세트를 저장하기 위한 로컬 파일 경로를 입력합니다. 예: /home/<user>/myfile.csv. 이 파일은 CSV 파일만 가능합니다.
Enter KDB Query: 실행할 kdb+ 쿼리를 입력합니다. 커넥터는 모든 q qeuries 를 허용합니다. 예: select from <mytable> 또는 <mytable> lj <myothertable>
완료하면 Click to Make Query 버튼을 선택하여 데이터 세트를 추가하십시오.