Driverless AI 中的 GPU¶
Driverless AI 可在仅使用 CPU 的计算机上运行,亦可在使用 CPU 和 GPU 的计算机上运行。为获得最佳(以及设计预期的)体验,请在支持 GPU 和 CUDA 的现代化数据中心硬件上安装 Driverless AI。特征工程和模型构建分别主要在 CPU 和 GPU 上执行。因此,Driverless AI 可受益于具有足够系统内存的多核 CPU 和具有足够 RAM 的 GPU。为获得最佳结果,我们建议使用 Pascal 或 Volta 架构的 GPU。x86 计算机还支持基于 Ampere 的 NVIDIA GPU(需要 NVIDIA CUDA Driver 11.2 或更高版本)。
Driverless AI 自带 NVIDIA CUDA 11.2.2 和 cuDNN。
使用 GPU 能为 Driverless AI 中的 Image 和 NLP 用例带来显著提升。
模型构建算法,即 XGBoost (GBM/DART/RF/GLM)、LightGBM (GBM/DART/RF)、PyTorch**(BERT 模型)和 **TensorFlow (CNN/BiGRU/ImageNet) 模型,使用 GPU。可通过实验的 num_gpus_for_prediction 系统专家设置选择进行预测/评分的非零 GPU 数量,来在 GPU 上启用模型评分。GPU 上即将提供 Shapley 计算。在某些用例中,可以为 GPU 上的生产模型实现 MOJO 评分。请参见 config.toml 中的 tensorflow_nlp_have_gpus_in_production
。Driverless AI Tensorflow、BERT 和图像模型支持生产使用 C++ MOJO 评分。
GPU 上运行 ClusterDist cuML 转换器、TruncSVDNum cuML 转换器和 DBSCAN cuML 转换器等 Feature engineering 转换器。
通过 Driverless AI Dask multinode 设置,可使用 GPU 进行广泛的 模型超参数搜索 。
详细信息,请参阅 -
Driverless AI & NVIDIA cuDNN
Driverless AI & NVIDIA RAPIDS
NVIDIA RAPIDS 提供 GPU 加速的 PyData API。Driverless AI 集成了 RAPIDS cuML (scikit-learn) transformers ,即 ClusterDist cuML 转换器、TruncSVDNum cuML 转换器、DBSCAN cuML 转换器,用于执行特征工程并将 RAPIDS cuDF 扩展至 XGBoost GBM / DART ,从而在 GPU 上构建机器学习模型。
Driverless AI & Dask + RAPIDS
DASK 是一个 Python 库,支持某些常见 Python 库进行核外并行和分发。将 DASK 与 RAPIDS 相结合可支持多节点多 GPU 框架。Driverless 支持 DASK multinode cluster ,同时提供用于建模的 Dask cuDF multiGPU XGBoost GBM / DART 和用于模型参数选择的 Dask multinode / multiGPU hyperparameter search 。
Driverless AI & OpenCL and CUDA LightGBM
X86 架构上,使用 GPU 上的 LightGBM 的 OpenCL 算法实现 构建模型。
可以在每个实验中启用/禁用 GPU。实验的 System expert settings 会公开 GPU 的一些细粒度控制。关于所有其他 GPU 相关配置设置,请参见 config.toml.