Driverless AI 日志

Driverless AI 提供了多个日志,可供在执行不同任务时查看和/或检索。日志中的所有内容都贴有 INFO、DATA、WARNING 和 ERROR 标签。Driverless AI 建模和 MLI 实验还提供了对匿名日志的访问权,这些日志不包含 DATA 标签中的内容。

可用日志文件

以下是可用 Driverless AI 日志文件的列表。

dai.log

实验日志

MLI 日志

自动可视化日志

h2oai_server Log

审核日志

将日志发送至 support@H2O.ai

本节介绍运行 Driverless AI 时如果出现故障要发送哪些日志。日志中的所有内容都贴有 INFO、DATA、WARNING 和 ERROR 标签。Driverless AI 建模和 MLI 实验还提供了对匿名日志的访问权,这些日志不包含 DATA 标签中的内容。

  • Driverless AI 启动故障: 这需要检查 System Logs ,如 dai.log 文件。

  • 数据集故障: 当出现数据集故障,如 正在添加数据集 或查看 数据集详细信息 时,GUI 上会显示一个简单的错误堆栈跟踪,且详细日志会登记为需要管理员访问权限的 h2oai_server logs

  • 自动 Viz 故障: 可以从 GUI 中访问数据集上的 自动可视化日志 。还可在需要管理员访问权限的 DAI 的 ./tmp 文件夹中的 h2oai_server.log 文件中找到完整详细的堆栈跟踪。

  • 实验故障: 用户需要发送 experiment logs. 某些情况下,为了进行深度分析,support@h2o.ai 可能会请求需要管理员访问权限进行检索的 dai.logs

  • MLI 故障: 详细信息,请参见 MLI Logs

  • 自定义插件故障: 如果自定义插件产生错误,则可点击 experiment 页面上的 下载摘要和日志 按钮获取整个 zip 文件,并发送该文件以进行故障排除。请注意,这些文件可能包含未经过匿名化处理的信息。

系统日志

系统日志包括关于 Driverless AI 的有用信息。Driverless AI 解决方案需要以下服务方可使用:

  • Driverless AI 服务器: 这是 python 代码,在内部启动本地工作线程,以启动用于 UI 页面 (DAI GUI) 的 web 服务器,并运行实际的实验工作。

  • h2o3 服务器: 用于使用 h2o3 的 MLI 和插件。

  • procsy: 它处理 DAI 服务器(python 代码)与其他二进制文件或 java jar 文件(如数据连接器或 vis 服务器)之间的通信。

  • Vis 服务器: 用于数据集的自动可视化,DAI 发送请求至 procsy,而 procsy 转而查询 vis 服务器完成 autoviz 所需的计算。

  • Redis 服务器: 用于后端 (DAI) 服务器与本地工作线程或远程工作线程之间的通信总线(如果设置了 DAI 多节点)。

  • minio: 多节点设置中的必需项,用于数据存储,例如,当在远程节点上运行实验时,远程工作线程通过 redis 获取实验配置详细信息,将实际数据集推送到 minio,并指示远程工作线程进行提取。实验结束后,通过 minio(上传和下载)将模型从远程节点发回主服务器。

这些服务每个都会创建一个日志文件。这些系统日志的收集随 Driverless AI 的安装方式而异,并需要 DAI 安装位置的管理员访问权限。

  • 对于 Docker 安装,系统日志保留在 Driverless AI 的 ./log/{date_time}/ 文件夹中。例如-

x@a_machine:~/dai_1.10/log/20210720-xyz$ ls
dai.log  h2o.log  jupyter.log  procsy.log  redis-server.log  vis-server.log  minio.log
  • 对于未使用 systemD 的 RPM 和 Deb 安装,日志文件将位于 opt/h2oai/dai/log 中。例如:

sudo less /opt/h2oai/dai/log/dai.log
sudo less /opt/h2oai/dai/log/h2o.log
sudo less /opt/h2oai/dai/log/procsy.log
sudo less /opt/h2oai/dai/log/vis-server.log
  • 对于使用 systemD 的 RPM 和 Deb 安装,您可以使用 journalctl 来查看 systemd 所收集的日志。例如:

sudo systemctl status dai-dai
sudo systemctl status dai-h2o
sudo systemctl status dai-procsy
sudo systemctl status dai-vis-server
sudo journalctl -u dai-dai
sudo journalctl -u dai-h2o
sudo journalctl -u dai-procsy
sudo journalctl -u dai-vis-server
  • 对于 Tar 安装,可使用以下命令查看系统日志:

less log/dai.log
less log/h2o.log
less log/procsy.log
less log/vis-server.log