Driverless AI 图像处理

Driverless AI 图像处理是一款功能强大的工具,可用于从数字图像中获得见解。以下各节介绍 Driverless AI 的图像处理功能。

注解

  • 1.10.x 不支持 Driverless AI 1.9.x 版中的图像模型。

  • GPU usage 为 Driverless AI 中的图像和 NLP 用例带来显著提升。

图像处理支持的文件类型

以下是 Driverless AI 中图像处理支持的文件类型列表:

  • Windows 位图 - .bmp

  • JPEG 文件 - .jpeg, .jpg, .jpe

  • JPEG 2000 文件 - .jp2

  • 可移植网络图形 - .png

  • WebP - .webp

  • 可移植图像格式 - .pbm、.pgm、.ppm、.pnm

  • TIFF 文件 - .tiff、.tif

  • OpenEXR 图像文件 - .exr

  • Radiance HDR - .hdr

由于浏览器受限,从 GUI 查看数据集行时,某些格式的图像可能无法呈现(如 .ppm、.tiff、.pnm 和 .exr)。这些图像仍与 Driverless AI 兼容,如果 DAI 为这些图像提供见解,则它们将显示在 见解 列。

理想情况下,Driverless AI 可以支持所有 OpenCV Image formats.

上传数据以进行图像处理

Driverless AI 支持多种图像数据集上传方法:

  • 图像按类别存储在目录中的存档。根据目录层次自动创建每个类别的标签。

  • 图像和 CSV 文件进行存档,该 CSV 文件至少包含一个带图像名称的列和一个目标列(最佳回归方法)。注意,每个图像名称必须包含正确的文件扩展名。

  • 带有磁盘上图像本地路径的 CSV 文件

  • 带有图像远程 URL 的 CSV 文件

构建图像模型

Driverless AI 有两种不同的构建图像模型的方法。

嵌入向量转换器 (Image Vectorizer)

Image Vectorizer transformer 可使用 TensorFlow pre-trained ImageNet models 将具有图像路径或 URI 的列转换为嵌入(向量)表示形式(衍生自模型的最后一个全局平均池化层)。所得到的向量用于 Driverless AI 中的建模。

专家设置 面板中有几个选项可让您能配置 Image Vectorizer 转换器。可在实验页面中评分器旋钮的上方找到此面板。请参阅 图像设置 ,了解更多关于这些选项的信息。

请注意

  • 此种建模方法支持分类和回归实验。

  • 此种建模方法支持使用混合数据类型(任何数量的图像列、文本列、数值列或分类列)

  • 还可使用位于“实验”选项卡中的 Pipeline Building Recipe 专家设置启用 Image Vectorizer 转换器。

自动图像模型

自动图像模型是一种 AutoML 模型,仅接受一个图像和一个标签作为输入特征。此模型会自动选择超参数,例如学习率、优化器、批处理大小和图像输入大小。它还通过选择时期数、裁剪策略、增强和学习率调度器来使训练进程自动化。

自动图像模型使用 TensorFlow ImageNet models 并从中启动训练进程。可用的架构列表包括所有大家熟知的模型:(SE)-ResNe(X)ts、DenseNets、EfficientNets 等。

独特见解可为当前最佳个体模型提供信息和样本图像,因而适用于自动图像模型。若需查看这些见解,可在实验运行时或实验结束后点击 见解 选项。更多信息,请参阅 ImageAuto 模型见解.

每个个别模型的评分(以及神经网络架构名称)均可在“迭代数据”面板中找到。迭代数据的最后一个点始终为 ENSEMBLE。这表明最终模型集成了多个个体模型。

启用自动图像模型

若需启用自动图像模型,可导航至 pipeline-building-recipe 专家设置,然后选择 image_model 选项:

Enable Automatic Image Model

确认选择后,点击 保存 。实验预览部分将进行更新,以包含关于自动图像模型的信息:

Automatic Image Model Preview

请注意

  • 此种建模方法仅支持输入单个图像列。

  • 此种建模方法不支持任何转换器。

  • 此种建模方法支持分类和回归实验。

  • 由于对输入特征有所限制,此种建模方法不支持使用混合数据类型。

  • 此种建模方法未使用 Genetic Algorithm (GA)。

  • 强烈建议为此种建模方法使用一个或多个 GPU。

  • 如果已连接互联网,则会自动下载 ImageNet 预训练权重。如果未连接互联网,则必须从 http://s3.amazonaws.com/artifacts.h2o.ai/releases/ai/h2o/pretrained/dai_image_models_1_10.zip 下载权重,并将其提取至 tensorflow_image_pretrained_models_dir``(默认为 ``./pretrained/image/)。

  • 如果使用 Driverless AI Docker install 广泛运行图像模型,我们建议使用设置 --shm-size=2g.

部署图像模型

Image Vectorizer Transformer. 支持使用 Python scoringC++ MOJO scoring 。目前,image models. 仅支持使用 Python 评分管道。