AutoDoc 사용

다음 섹션에서는 Driverless AI의 AutoDoc 기능에 관해 설명합니다.

• AutoDoc 이해

• AutoDoc 생성

• AutoDoc 구성

• 사용자 정의 AutoDoc 생성

AutoDoc 이해

AutoDoc 기능은 개별 Driverless AI 실험을 위한 자동화된 기계학습 문서를 생성하는 데 사용됩니다. 이러한 편집 가능한 문서에는 실험에 대한 개요가 있으며 변수 가공 및 최종 모델 성능과 같은 기타 중요한 세부 정보가 포함돼있습니다.

Word 형식의 샘플 실험 보고서를 다운로드하고 확인하려면 다음을 참조하십시오. Click here.

AutoDoc 지원

AutoDoc은 특정 Driverless AI 버전을 위해 재개된 실험만 지원합니다. 사용중인 버전에서 지원되는 재개된 실험 유형의 확인은 다음 표를 참조하십시오.

재개된 실험에 대한 AutoDoc 지원	1.7.0 이전	1.7.1	1.9.0 이후
동일한 설정을 사용한 새로운 실험	예	예	예
마지막 체크포인트에서 재시작	아니요	예	예
최종 파이프라인 재학습	아니요	아니요	예

참고

• AutoDoc 파이프라인 시각화가 Native 설치에서 올바르게 생성되도록 fontconfig 를 설치하는 것이 권장합니다.

• AutoDoc은 이전에 중단되었거나 또는 실패한 실험을 기반으로 빌드된 실험은 지원하지 않습니다.

• 지원되지 않는 재개된 실험에 대한 보고서는 계속 작성되지만, 다음의 텍스트만을 포함합니다. 《AutoDoc not yet supported for resumed experiments.》

사용자 정의 AutoDoc

모든 Driverless AI 실험은 표준 또는 사용자 정의 AutoDoc을 생성할 수 있습니다. 표준 AutoDoc은 Driverless AI에 포함된 기본 AutoDoc 템플릿을 사용하지만, 사용자 정의 AutoDoc은 Driverless AI가 자동으로 채우는 고객별 템플릿을 사용합니다.

사용자 정의 AutoDoc 생성에 관해 더 자세한 내용은 support@h2o.ai 에 문의하십시오. 사용자 지정 AutoDoc 템플릿을 이미 구입했고 실험에서 사용자 정의 AutoDoc의 생성 방법을 배우려면 사용자 정의 AutoDoc 생성 을 참조하십시오.

참고

• 사용자 정의 AutoDoc 자리 표시자 목록은 AutoDoc 사용자 정의 템플릿 자리 표시자 를 참조하십시오.

• 사용자 정의 AutoDoc는 Driverless AI 버전에 따라 다릅니다.

AutoDoc을 사용한 BYOR 레시피

실험 AutoDoc은 사용자 정의 scorer, 트랜스포머 또는 모델을 사용하는 실험을 지원합니다. 사용자 정의 scorer 및 트랜스포머는 Driverless AI scorer 및 트랜스포머와 동일하게 문서화됩니다. Driverless AI가 사용자 정의 트랜스포머를 사용한 경우, 이것은 표시 이름 아래의 특성 변환 테이블에 포함됩니다. 그렇지 않으면 이것은 특성 진화 섹션에만 포함됩니다( Note:사용자 정의 트랜스포머 설명은 현재 이 섹션에서 《None》으로 표시됩니다). 사용자 정의 모델의 경우, 표준 성능 메트릭 및 플롯이 포함됩니다. 하지만 Driverless AI가 액세스할 수 없는 정보는 포함되지 않거나 《custom》, 《unavailable》 또는 《auto》로 표시됩니다. 예를 들어, 모델 튜닝 테이블에서 부스터는 《custom》로 나열됩니다. 그리고 Alternative 모델 섹션에서 모델 패키지 문서는 《unavailable.》로 나열됩니다.

AutoDoc 생성

AutoDoc 생성에는 세 가지 다른 접근 방식을 사용할 수 있습니다.

• 실험 UI

• MLI UI

• Python Client

Notes:

• AutoDoc에서 플롯/테이블을 구성하고 특정 섹션을 활성화/비활성화하는 방법에 대한 자세한 내용은 AutoDoc 구성 을 참조하십시오.

• 해당 접근 방식은 사용자 정의 AutoDoc에도 적용됩니다. 자세한 내용은 사용자 정의 AutoDoc 생성 을 참조하십시오.

실험 UI

Experiments 페이지로 이동하여 AutoDoc을 생성하려는 완료된 실험을 클릭하십시오.

AutoDoc이 이전 실험에서 활성화되지 않은 경우 Build AutoDoc 버튼을 클릭하십시오.

AutoDoc이 이전 실험에서 활성화된 경우 Download AutoDoc 버튼을 클릭하십시오.

MLI UI

MLI 페이지로 이동하여 AutoDoc을 생성하려는 완료된 실험을 클릭하십시오.

MLI RECIPES 메뉴에서 AutoDoc을 선택하고, AutoDoc에 포함될 수 있는 Explainer를 선택적으로 선택하십시오(표준 AutoDoc은 k-LIME Explainer 및 DT Surrogate Explainer를 지원합니다).

Explainer를 사용한 표준 AutoDoc:

Python Client

• driverlessai

AutoDoc Functions

• create_and_download_autodoc()

• make_autodoc_sync()

로컬 다운로드 하는 경우:

create_and_download_autodoc(
    model_key:str,
    template_path:str='',
    config_overrides:str='',
    dest_path:str='.',
    mli_key:str='',
    individual_rows:list=[],
    external_dataset_keys:list=[])

AutoDoc을 DAI 실험 디렉터리에 저장하려면(로컬 다운로드가 비활성화된 경우 권장):

make_autodoc_sync(
    model_key:str,
    template_path:str='',
    config_overrides:str='',
    mli_key:str='',
    individual_rows:list=[],
    external_dataset_keys:list=[])

• model_key: 실험 키 문자열.

• template_path: 사용자 정의 AutoDoc 템플릿의 전체 경로.

• config_overrides: 구성을 포함한 TOML 문자열 형식이 AutoDoc에 대해 오버라이드.

• dest_path: AutoDoc이 저장되어야 하는 로컬 경로.

• model_key: mli 키 문자열.

• individual_rows: 추가 정보(ICE, LOCO, KLIME)를 표시할 수 있는 학습 데이터 세트에서 중요한 행의 행 색인 목록.

• external_dataset_keys: DAI 데이터 세트 키 목록.

driverlessai

실행 중인 DAI 인스턴스에 연결:

import driverlessai
address = 'http://ip_where_driverless_is_running:12345'
username = 'username'
password = 'password'
dai = driverlessai.Client(address=address, username=username, password=username)

AutoDoc을 생성하고 현재 작업 디렉터리에 다운로드:

report = dai._backend.create_and_download_autodoc(
    model_key=exp_key,
    dest_path:str='.',
)

AutoDoc 구성

AutoDoc의 플롯, 테이블 및 섹션은 다음 네 가지 워크플로우를 통해 구성이 가능합니다.

• 실험 UI 전문가 설정

• MLI UI 전문가 설정

• Python Client

• config.toml file

실험 UI 전문가 설정

MLI UI 전문가 설정

Python Client

• driverlessai

AutoDoc의 모든 구성 옵션은 config.toml file 에 나열됩니다. 다음은 일반적으로 사용되는 구성 매개변수 몇 가지입니다.

import toml

# Set the document to limit features displayed to the top ten
config_dict={
   "autodoc_num_features": 10
}

# Partial Dependence Plots (PDP) and ICE Plots
config_dict["autodoc_pd_max_runtime"] = 60
config_dict["autodoc_num_rows"] = 4

# Prediction statistics
config_dict["autodoc_prediction_stats"] = True
config_dict["autodoc_prediction_stats_n_quantiles"] = 10

# Population Stability Index (PSI)
config_dict["autodoc_population_stability_index"] = True
config_dict["autodoc_population_stability_index_n_quantiles"] = 10

# Permutation feature importance
config_dict["autodoc_include_permutation_feature_importance"] = True
config_dict["autodoc_feature_importance_scorer"] = "GINI"
config_dict["autodoc_feature_importance_num_perm"] = 1

# Response rates (only applicable to Binary classification)
config_dict["autodoc_response_rate"] = True
config_dict["autodoc_response_rate_n_quantiles"] = 10

toml_string = toml.dumps(config_dict)
print(toml_string)

이러한 매개변수를 설정한 후, AutoDoc을 생성하고 현재 작업 디렉터리에 다운로드합니다.

driverlessai

report = dai._backend.create_and_download_autodoc(
    model_key=exp_key,
    config_overrides=config_overrides,
    dest_path:str='.',
)

사용자 정의 AutoDoc 생성

본 섹션에서는 사용자 정의 AutoDoc 템플릿에서 AutoDoc을 생성하는 방법에 관해 설명합니다. 다음 옵션에서 선택하십시오.

• Driverless AI가 모든 실험에 사용자 정의 AutoDoc을 사용하게 합니다.

• Driverless AI가 개별 실험을 위한 사용자 정의 AutoDoc을 생성하게 합니다.

참고

• 사용자 정의 AutoDoc 자리 표시자 목록은 AutoDoc 사용자 정의 템플릿 자리 표시자 를 참조하십시오.

• AutoDoc 템플릿 디렉터리는 Driverless AI 컨테이너 또는 포드에 매핑되어야 합니다.

모든 실험을 위한 사용자 정의 AutoDoc

사용자 정의 AutoDoc 템플릿을 사용하려면 config.toml 파일을 편집하여 사용자 정의 AutoDoc의 위치를 가리키십시오. 다음 config.toml 설정을 사용하십시오.

• Autodoc_template : 기본 템플릿 파일을 위한 경로를 지정하십시오.

• Autodoc_additional_template_folder : 추가 사용자 정의 하위 템플릿이 있는 경우 이 설정을 사용하여 추가 AutoDoc 템플릿의 위치를 ​지정합니다. 이 필드를 비워두는 경우 기본 하위 템플릿 폴더만 사용됩니다.

사용자 정의 AutoDocs를 생성하려면 Driverless AI가 사용자 지정 템플릿에 액세스할 수 있어야 합니다. Driverless AI가 액세스할 수 있는지 확인하려면 다음 예의 경로를 자신의 경로로 업데이트하십시오.

autodoc_template="/full/path/to/your/custom_autodoc_template.docx"

# Required if you have additional custom sub-templates.
autodoc_additional_template_folder="/path/to/additional_templates_folder"

개별 실험을 위한 사용자 정의 AutoDoc

Python client를 사용하여 template_path 변수를 사용자 정의 AutoDoc의 경로로 설정하여 실험에서 표준 또는 사용자 정의 AutoDoc을 생성할 수 있습니다.

template_path='/full/path/to/your/custom_autodoc_template.docx'

Python Client: driverlessai

report = dai._backend.create_and_download_autodoc(
    model_key=exp_key,
    template_path=template_path,
    dest_path:str='.',
)