Driverless AI 图像处理¶
Driverless AI 图像处理是一款功能强大的工具,可用于从数字图像中获得见解。以下各节介绍 Driverless AI 的图像处理功能。
Uploading Image dataset 至 Driverless AI
Image Transformer :当数据集包含图像和其他特征类型时,使用图像转换器。
Image Model :当数据集的唯一特征是图像时,可使用图像模型。
Deploying an Image Model 至生产环境
注解
1.10.x 不支持 Driverless AI 1.9.x 版中的图像模型。
GPU usage 为 Driverless AI 中的图像和 NLP 用例带来显著提升。
图像处理支持的文件类型¶
以下是 Driverless AI 中图像处理支持的文件类型列表:
Windows 位图 - .bmp
JPEG 文件 - .jpeg, .jpg, .jpe
JPEG 2000 文件 - .jp2
可移植网络图形 - .png
WebP - .webp
可移植图像格式 - .pbm、.pgm、.ppm、.pnm
TIFF 文件 - .tiff、.tif
OpenEXR 图像文件 - .exr
Radiance HDR - .hdr
由于浏览器受限,从 GUI 查看数据集行时,某些格式的图像可能无法呈现(如 .ppm、.tiff、.pnm 和 .exr)。这些图像仍与 Driverless AI 兼容,如果 DAI 为这些图像提供见解,则它们将显示在 见解 列。
理想情况下,Driverless AI 可以支持所有 OpenCV Image formats.
上传数据以进行图像处理¶
Driverless AI 支持多种图像数据集上传方法:
图像按类别存储在目录中的存档。根据目录层次自动创建每个类别的标签。
图像和 CSV 文件进行存档,该 CSV 文件至少包含一个带图像名称的列和一个目标列(最佳回归方法)。注意,每个图像名称必须包含正确的文件扩展名。
带有磁盘上图像本地路径的 CSV 文件
带有图像远程 URL 的 CSV 文件
构建图像模型¶
Driverless AI 有两种不同的构建图像模型的方法。
嵌入向量转换器 (Image Vectorizer)¶
Image Vectorizer transformer 可使用 TensorFlow pre-trained ImageNet models 将具有图像路径或 URI 的列转换为嵌入(向量)表示形式(衍生自模型的最后一个全局平均池化层)。所得到的向量用于 Driverless AI 中的建模。
专家设置 面板中有几个选项可让您能配置 Image Vectorizer 转换器。可在实验页面中评分器旋钮的上方找到此面板。请参阅 图像设置 ,了解更多关于这些选项的信息。
请注意:
此种建模方法支持分类和回归实验。
此种建模方法支持使用混合数据类型(任何数量的图像列、文本列、数值列或分类列)
还可使用位于“实验”选项卡中的 Pipeline Building Recipe 专家设置启用 Image Vectorizer 转换器。
自动图像模型¶
自动图像模型是一种 AutoML 模型,仅接受一个图像和一个标签作为输入特征。此模型会自动选择超参数,例如学习率、优化器、批处理大小和图像输入大小。它还通过选择时期数、裁剪策略、增强和学习率调度器来使训练进程自动化。
自动图像模型使用 TensorFlow ImageNet models 并从中启动训练进程。可用的架构列表包括所有大家熟知的模型:(SE)-ResNe(X)ts、DenseNets、EfficientNets 等。
独特见解可为当前最佳个体模型提供信息和样本图像,因而适用于自动图像模型。若需查看这些见解,可在实验运行时或实验结束后点击 见解 选项。更多信息,请参阅 ImageAuto 模型见解.
每个个别模型的评分(以及神经网络架构名称)均可在“迭代数据”面板中找到。迭代数据的最后一个点始终为 ENSEMBLE。这表明最终模型集成了多个个体模型。
启用自动图像模型¶
若需启用自动图像模型,可导航至 pipeline-building-recipe 专家设置,然后选择 image_model 选项:
确认选择后,点击 保存 。实验预览部分将进行更新,以包含关于自动图像模型的信息:
请注意:
此种建模方法仅支持输入单个图像列。
此种建模方法不支持任何转换器。
此种建模方法支持分类和回归实验。
由于对输入特征有所限制,此种建模方法不支持使用混合数据类型。
此种建模方法未使用 Genetic Algorithm (GA)。
强烈建议为此种建模方法使用一个或多个 GPU。
如果已连接互联网,则会自动下载 ImageNet 预训练权重。如果未连接互联网,则必须从 http://s3.amazonaws.com/artifacts.h2o.ai/releases/ai/h2o/pretrained/dai_image_models_1_10.zip 下载权重,并将其提取至
tensorflow_image_pretrained_models_dir``(默认为 ``./pretrained/image/
)。如果使用 Driverless AI Docker install 广泛运行图像模型,我们建议使用设置
--shm-size=2g
.
部署图像模型¶
Image Vectorizer Transformer. 支持使用 Python scoring 和 C++ MOJO scoring 。目前,image models. 仅支持使用 Python 评分管道。