시작하기 전¶
Driverless AI는 CPU를 포함한 컴퓨터 또는 CPU와 GPU를 동시에 포함한 컴퓨터에서 실행할 수 있습니다. 최고의 (그리고 설계 의도에 따른) 작업 환경을 위해 GPU 및 CUDA를 지원하는 최신 데이터 센터 하드웨어에 Driverless AI를 설치하십시오. 변수 가공 및 모델 구축은 각각 CPU와 GPU에서 수행됩니다. 이러한 이유로 Driverless AI는 충분한 시스템 메모리를 가진 멀티 코어 CPU 및 충분한 RAM을 가진 GPU를 활용합니다. 최고의 결과를 얻기 위해 Pascal 또는 Volta 아키텍처를 사용하는 GPU를 권장합니다. EC2에서 사용할 수 있는 기존 K80 및 M60 GPU가 지원되어 매우 편리하지만, 빠르지는 않습니다. Driverless AI는 NVIDIA CUDA 11.2.2 툴킷과 함께 제공되므로 Ampere 기반 NVIDIA GPU는 x86에서도 지원됩니다. 특히 이미지 처리 및 NLP 사용 사례는 GPU 사용에서 상당한 이점을 얻습니다. 관련 정보는 Driverless AI에서의 GPU 를 참조하세요.
Driverless AI는 로컬, LDAP 및 PAM 인증을 지원합니다. 인증은 환경 변수 설정 또는 config.toml 파일을 통해 구성이 가능합니다. 자세한 내용은 인증 방법 섹션을 참조하십시오. 기본 인증 방법은 《unvalidated》입니다.
또한, Driverless AI는 HDFS, S3, Google Cloud Storage, Google Big Query, KDB, MinIo 및 Snowflake 액세스를 지원합니다. 이러한 데이터 소스에 대한 지원은 데이터 커넥터에 대한 환경 변수 설정 또는 config.toml 파일을 통해 구성이 가능합니다. 자세한 내용은 데이터 커넥터 섹션을 참조하십시오.
사이징 요건¶
Native 설치를 위한 사이징 요건¶
Driverless AI가 실험을 시작하려면 최소 5GB의 시스템 메모리가 필요하고 소규모의 실험을 실행하려면 최소 5GB의 디스크 공간이 필요합니다. 해당 제한은 config.toml 파일에서 변경이 가능합니다. 충분한 시스템 CPU 메모리(64GB 이상) 및 1TB의 사용 가능한 디스크 공간 확보를 권장합니다.
Docker 설치를 위한 사이징 요건¶
Docker 설치의 경우 1TB의 여유 디스크 공간 확보를 권장합니다. Driverless AI는 약 38GB를 사용합니다. 또한 압축 해제/임시 파일은 설치 시, 동일한 Linux 마운트 /var 에 공간을 필요로 합니다. Driverless AI가 실행되면 Docker 컨테이너의 마운트가 다른 파일 시스템 마운트 포인트를 지정할 수 있습니다.
GPU 사이징 요건¶
GPU로 Driverless AI를 실행하는 경우 GPU의 compute capability가 3.5 이상이고 RAM이 4GB 이상인지 확인하십시오. 이러한 요건이 충족되지 않으면 Driverless AI가 CPU 전용 모드로 전환됩니다.
실험 저장을 위한 사이징 요건¶
Driverless tmp 디렉터리에 최소 500GB에서 1TB의 공간을 확보하십시오. (Driverless) tmp 디렉터리에는 모든 실험 및 모든 데이터 세트가 있습니다. 또한 SSD(NVMe 추천)의 사용을 권장합니다.
Linux의 가상 메모리 설정¶
Linux 시스템에서 Driverless AI 실행 시, 오버 커밋 메모리를 0으로 설정하십시오. 해당 설정은 다음 명령으로 변경할 수 있습니다.
sudo sh -c "/bin/echo 0 > /proc/sys/vm/overcommit_memory"
이것은 Linux 커널이 메모리를 오버 커밋할 수 있음을 나타내는 기본값입니다. 이 값을 2로 설정하는 경우, Linux 커널이 메모리를 오버 커밋하지 않습니다. 후자의 경우 Driverless AI의 메모리 요건이 메모리 할당 제한을 초과하여 실험 완료가 불가능할 수 있습니다.
실험당 메모리 요건¶
경험에 비추어 봤을 때, 실험당 메모리의 요건은 데이터 세트 크기의 약 5~10배입니다. 데이터 세트 크기는 행 수 x 열 수 x 4 바이트로 추정할 수 있습니다. 데이터가 텍스트를 포함하면 요소당 더 많은 바이트가 필요합니다.
백업 전략¶
Driverless AI tmp 디렉터리는 배포 아티팩트 및 MLI와 같은 모든 실험 아티팩트의 저장에 사용됩니다. 이것은 또한 Driverless 아티팩트의 사용자를 추적하는 master.db 데이터베이스도 저장합니다. tmp 폴더에는 Driverless AI가 자동으로 추가하는 항목 이외의 파일을 추가하거나 삭제해서는 안 됩니다.
주기적으로 Driverless AI를 중지하고 Driverless AI tmp 디렉터리를 백업하여 이전 상태로 되돌려야 하는 인스턴스에 Driverless AI 상태 사본을 이용할 수 있도록 하는 것을 권장합니다.
업그레이드 전략¶
Driverless AI 업그레이드 시, 다음 사항을 유의하십시오.
버전 1.9.x의 이미지 모델은 1.10.x에서 지원되지 않습니다. 1.9.x의 다른 모든 모델은 1.10.x에서 지원됩니다.
버전 1.9.0에서 생성된 ( MLI ) 해석은 1.9.x 이상에서 지원됩니다.
버전 1.8.x에서 생성된 ( MLI ) 해석은 1.9.x 이상에서 지원되지 않습니다. 하지만 1.8.x에서 생성된 해석은 보기 및 재실행이 여전히 가능합니다.
업그레이드 전에 다음 단계를 따르십시오.
Build MLI models: 업그레이드 전에 향후 Driverless AI 릴리스에서 지속해서 해석하려는 모델에서 MLI 작업을 실행하십시오. MLI 작업이 현재 버전의 해석된 모델 목록에 나타날 경우, 이것은 업그레이드 후에도 유지됩니다.
Build MOJO pipelines: 업그레이드 전에 원하는 모든 모델에서 MOJO 파이프라인을 구축하십시오.
Driverless AI를 중지하고 Driverless AI tmp 디렉터리의 백업(복사본)을 만드십시오.
업그레이드 프로세스는 /etc/dai/User.conf 및 /etc/dai/Group.conf에서 서비스 사용자 및 그룹을 이어받습니다. 업그레이드 중에는 DAI_USER 또는 DAI_GROUP 환경 변수를 수동으로 지정할 필요가 없습니다.
Note: Driverless AI는 최신 버전에서 이전 버전으로의 데이터 마이그레이션을 지원하지 않습니다. 업그레이드 후, 이전 버전의 Driverless AI로 롤백하면 master.db 파일의 최신 버전은 이전 버전의 Driverless AI에서 작동하지 않습니다. 따라서 이전 버전의 Driverless AI 상태를 완전히 복원하려면 이전 〈tmp’ 디렉터리의 사본을 저장하십시오.
기타 참고사항¶
지원 브라우저¶
Driverless AI는 Chrome 및 Firefox에서 가장 활발하게 테스트 되었습니다. 최고의 사용자 환경을 위해 최신 버전의 Chrome을 사용하십시오. 다른 브라우저나 이전 버전의 Chrome 및/또는 Firefox 사용 시 문제가 발생할 수 있습니다.
sudo 하는 것 또는 sudo 하지 않는 것¶
Driverless RPM 및 DEB 설치는``sudo`` 액세스를 필요로 합니다. TARSH 설치는 sudo 액세스 없이도 가능합니다.
문서의 일부 설치 단계에는 다른 명령 앞에 sudo 가 표시될 수도 있습니다. sudo 사용이 항상 필요한 것은 아님을 기억하십시오.
Docker 구성에 대한 참고 사항(ulimit)¶
Docker와 함께 Driverless AI 실행 시, docker run``에 ``--ulimit 인자를 사용하여 ulimit 옵션을 구성하는 것이 권장됩니다. 다음은 이러한 옵션 구성 방법을 보여주는 예제입니다.
--ulimit nproc=65535:65535 \
--ulimit nofile=4096:8192 \
해당 옵션에 대한 자세한 내용은 https://docs.docker.com/engine/reference/commandline/run/#set-ulimits-in-container—ulimit 를 참조하십시오.
nvidia-docker 1.0에 대한 참고 사항¶
nvidia-docker 1.0을 이미 설치한 경우, 해당 1.0 및 기존의 모든 GPU 컨테이너를 제거해야 합니다. 자세한 내용은 https://github.com/NVIDIA/nvidia-docker/blob/master/README.md 를 참조하십시오.
nvidia-smi 지원 중단¶
nvidia-smi 명령은 NVIDIA에서 더 이상 사용되지 않습니다. 자세한 내용은 https://github.com/nvidia/nvidia-docker#upgrading-with-nvidia-docker2-deprecated 를 참조하십시오. GPU의 퍼시스턴스 모드의 활성화를 위해 설치 단계가 업데이트되었습니다.
CUDA 버전에 관한 참고 사항¶
Driverless AI는 GPU용 CUDA 11.2.2와 함께 제공되지만 드라이버가 호스트 환경에 있어야 합니다. Ampere를 포함한 모든 NVIDIA 아키텍처에서 원활한 경험을 위해 사용자 환경에 NVIDIA driver >= 471.68 을 설치하는 것이 좋습니다.
최신 NVIDIA Tesla A/T/V/P/K 시리즈 드라이버를 다운로드하려면 NVIDIA download driver 로 이동하십시오. CUDA Toolkit 및 최소 필수 드라이버 버전, CUDA Toolkit 및 해당 드라이버 버전에 대한 참고자료는 here 를 참조하십시오.
인증에 관한 참고 사항¶
Driverless AI의 기본 인증 설정은 《unvalidated》입니다. 이 경우에 Driverless AI는 모든 로그인 및 암호 조합을 허용하여, 지정된 로그인 ID에 대한 암호가 정확한지 확인하지 않고 시스템에 연결하고 로그인 ID에 지정된 사용자 자격으로 시스템에 연결됩니다. 이는 Cloud, Docker 및 Native 인스턴스를 포함한 모든 인스턴스에 해당됩니다.
인증을 구성하는 것을 권장합니다. Driverless AI는 LDAP, PAM, Local 및 None을 포함한 다양한 인증 옵션을 제공합니다. 기타 인증 방법 활성화에 대한 정보는 인증 방법 를 참조하십시오.
Note: 또한, Driverless AI는 IBM Spectrum Conductor와 통합되어 있으며 Conductor의 인증을 지원합니다. IBM Spectrum Conductor 인증 사용에 대한 자세한 정보는 sales@h2o.ai 에 연락주십시오.
마스터 데이터베이스 파일에 대한 참고 사항¶
master.db 파일은 DAI tmp 디렉터리의 Driverless 아티팩트의 사용자를 추적합니다. 두 가지 버전의 Driverless AI를 실행 중인 경우, 최근 버전의 master.db 파일은 이전 버전의 Driverless AI에서 작동하지 않음을 기억하십시오.