모델 해석

모델 해석은 Driverless AI 실험 또는 외부 모델(Driverless AI에 의해 생성되지 않은 모델)을 통해 생성된 예측에서 실행될 수 있습니다.

완료된 실험 페이지에서 Interpret this Model 버튼을 사용해서 원본 및 변형된 특성에 대한 Driverless AI 모델을 해석합니다. 또한 상단 검색 메뉴의 MLI 링크를 클릭하여 Driverless AI 모델 또는 외부 모델을 해석할 수 있습니다.

Driverless AI 모델 해석

완료된 Driverless AI 모델은 상단 메인 메뉴의 MLI 페이지 또는 완료된 실험 페이지에서 해석이 가능합니다.

참고

  • 본 릴리스는 1.8.9 및 이전 버전에서 실행되는 실험을 지원하지 않습니다. 버전 1.8.9 이하의 실험에서는 MLI 마이그레이션이 지원되지 않습니다. 즉, 1.8.9 및 이전 버전을 사용하여 구축한 Driverless AI 모델에서 직접 해석을 실행할 수는 없지만, 해당 버전을 사용하여 구축한 해석을 확인할 수는 있습니다.

  • MLI는 비지도형 학습 모델에서 지원되지 않습니다.

  • MLI는 이미지 또는 다중 클래스 Time Series 실험을 지원하지 않습니다.

  • MLI를 현재 모델에서 실행하기 위해서는 인터넷 연결이 필요하지 않습니다.

  • MLI에서 사용할 특정 H2O 인스턴스 포트를 지정하려면 h2o_port config.toml 설정을 사용하십시오. h2o_ip 설정을 통해 MLI에서 사용할 IP 주소를 지정할 수도 있습니다.

MLI 페이지에서 해석 실행

이 방법을 사용하면 Driverless AI 모델에서 모델 해석의 실행이 가능합니다. 이 방법은 실험 요약 페이지에서 《Interpret This Model》 을 클릭하는 것과 비슷하지만, MLI expert settings 및 recipes 를 통해 더 많은 제어를 제공합니다.

  1. 해석된 모델의 목록을 확인하려면 UI의 우측 상단 모서리에 위치한 MLI 링크를 클릭합니다.

  2. New Interpretation 버튼을 클릭합니다.

  3. 해석에 사용할 모델 학습에 사용된 데이터 세트를 선택하십시오.

  4. 해석에 사용할 Driverless AI 모델을 지정하십시오. 선택되면 모델에 사용된 대상 열이 선택됩니다.

  5. 선택적으로 실행할 MLI recipes (또는 Explainers)를 지정하십시오. 이것은 자동보고를 포함합니다.

  6. 이 해석의 실행 시 사용할 추가 MLI Expert Settings 또는 Explainer (recipe) specific settings 를 선택적으로 지정하십시오.

  7. 가중치 열을 선택적으로 지정하십시오.

  8. 하나 이상의 삭제된 열을 선택적으로 지정하십시오. 모델 생성 시 삭제된 열은 해석을 위해 자동으로 삭제됩니다.

  9. Launch MLI 버튼을 클릭합니다.

Interpret DAI Model

완료된 실험 페이지에서 해석 실행

완료된 실험 페이지에서 Interpret this Model 버튼을 클릭하면 해당 실험에 대한 모델 해석이 시작됩니다. expert settings 또는 (사용자 정의) recipes 를 통해 explainer에 대한 MLI 실행을 통제하려면 MLI 페이지에서 모델을 빌드하십시오.

해석에는 요약, 구축된 Driverless AI 모델을 사용한 해석 및 대리 모델을 사용한 해석(Driverless AI 모델의 예측을 기반으로 구축)이 포함됩니다. 해당 플롯에 대한 자세한 내용은 모델 해석 페이지 이해 을 참조하십시오.

플롯은 양방향이며 로그/아티팩트는 Actions 버튼을 클릭하여 다운로드할 수 있습니다.

non-time-series 실험의 경우, 이 페이지에서는 학습된 Driverless AI 모델 및 그 결과에 대한 몇 가지 시각적 설명과 사유 코드가 제공됩니다. 해당 페이지에 대한 더 자세한 내용은 이 장의 후반부에 있는 Understanding the Model Interpretation Page 섹션에서 확인할 수 있습니다.

Interpret this Model button

외부 모델의 예측 해석

모델 해석은 Driverless AI 실험상에서 실행할 필요가 없습니다. 외부 모델을 학습시키고 모델의 예측에 대해 모델 해석 가능성을 실행할 수 있습니다. 이것은 MLI 페이지에서 가능합니다.

  1. 해석된 모델의 목록을 확인하려면 UI의 우측 상단 모서리에 위치한 MLI 링크를 클릭합니다.

  2. New Interpretation 버튼을 클릭합니다.

  3. Select Model 옵션은 없음으로 놓아둡니다.

  4. 모델 해석에 사용할 데이터 세트를 선택하십시오. 여기에는 외부 모델에 의해 생성된 예측 열이 포함되어야 합니다. 데이터 세트에 예측이 포함되지 않은 경우, 외부 예측을 포함시킬 수 있습니다. Python에서 해당 작업을 실행하는 방법을 보여주는 예제는 신용 카드 데모의 Run Model Interpretation on External Model Predictions <examples/credit_card/credit_card_default.html#2.-Run-Model-Interpretation-on-External-Model-Predictions> 섹션에서 확인할 수 있습니다.

  5. 대상 열(실제) 및 예측 열(외부 모델의 점수)을 지정하십시오.

  6. 이 해석의 실행 시 사용할 추가 MLI Expert Settings 를 선택적으로 지정하십시오.

  7. 가중치 열을 선택적으로 지정하십시오.

  8. 하나 이상의 삭제된 열을 선택적으로 지정하십시오. 모델 생성 시 삭제된 열은 해석을 위해 자동으로 삭제됩니다.

  9. Launch MLI 버튼을 클릭합니다.

Note: 외부 모델에서 해석을 실행하는 경우 Select Model 옵션을 비워 두십시오. 해당 옵션은 Driverless AI 모델을 선택하기 위한 것입니다.

Interpret External Model

생성된 해석에는 대리 모델 및 요약을 사용하여 생성된 플롯과 설명이 포함됩니다. 자세한 내용은 모델 해석 페이지 이해 을 참조하십시오.

Explainer Recipes

Driverless AI 기계 학습 해석 가능성은 running a new interpretation from the MLI page 시, 활성화가 가능한 모델 해석에 대한 다양한 explainer 레시피와 함께 제공됩니다. 해당하는 레시피에 의해 생성된 해석에 대한 정보는 here 에서 확인할 수 있습니다. explainer별 상세 설정 목록은 here 에서 확인할 수 있습니다. 다음은 사용 가능한 레시피의 목록입니다.

  • Absolute Permutation Feature Importance

  • AutoDoc

  • Disparate Impact Analysis

  • Interpretability Data ZIP (Surrogate and Shapley Techniques)

  • NLP Leave-one-covariate-out (LOCO)

  • NLP Partial Dependence Plot

  • NLP Tokenizer

  • NLP Vectorizer + Linear Model (VLM) Text Feature Importance

  • Original Feature Importance

  • Partial Dependence Plot

  • Relative Permutation Feature Importance

  • Sensitivity Analysis

  • Shapley Summary Plot for Original Features (Naive Shapley Method)

  • Shapley Values for Original Features (Kernel SHAP Method)

  • Shapley Values for Original Features (Naive Method)

  • Shapley Values for Transformed Features

  • Surrogate Decision Tree

  • Surrogate Random Forest Importance

  • Surrogate Random Forest Leave-one-covariate-out (LOCO)

  • Surrogate Random Forest Partial Dependence Plot

  • Transformed Feature Importance

  • k-LIME / LIME-SUP

    Interpretation recipes default

이 레시피 목록은 확장이 가능하고 사용자는 자신의 custom recipes 를 생성할 수 있습니다. 자세한 내용은 MLI 사용자 정의 레시피 를 참조하십시오.

Interpretation recipes default

해석 상세 설정

MLI page 에서 해석 시, Interpretation Expert Settings 패널에서 다양한 구성 옵션을 사용하여 해석을 사용자 지정할 수 있습니다. 일부 레시피에서는 레시피별 설정도 가능합니다. 검색 창을 사용하여 설정 목록을 구체화하거나 특정 설정을 찾을 수 있습니다.

각 설정에 대한 자세한 내용은 해석 상세 설정 를 참조하십시오. 또한 explainer(레시피)별 상세 설정에 대해서는 see 를 참조하십시오.

Interpretation Expert Settings

Notes:

  • 이용 가능한 상세 설정의 선택은 해석하고자 하는 모델 유형과 지정된 LIME 방법에 따라 결정됩니다.

  • time series 모델에는 상세 설정을 사용할 수 없습니다.

레시피 상세 설정(explainer)

Driverless AI Partial dependence , Disparate Impact Analysis (DIA) explainer 및 DT (Decision Tree) Surrogate explainer 와 같은 일부 recipes 의 경우, 일부 설정은 레시피 페이지에서 전환이 가능합니다. 또한 Original Kernel SHAP explainer 와 같은 일부 레시피의 활성화를 통해 상세 설정에 새로운 옵션을 추가할 수 있습니다.

Explainer 별 상세 설정에 대한 자세한 내용은 Explainer (레시피) 상세 설정 를 참조하십시오.

Recipe expert settings