사용자 정의 scorer 사용

Driverless AI는 다음과 같은 다양한 scorer를 지원합니다.

  • 회귀 분석: GINI, MAE, MAPE, MER, MSE, R2, RMSE(기본값), RMSLE, RMSPE, SMAPE, TOPDECILE

  • 분류: ACCURACY, AUC(기본값), AUCPR, F05, F1, F2, GINI, LOGLOSS, MACROAUC, MCC

본 예제에서는 실험에 사용자 정의 scorer를 포함하는 방법을 보여줍니다. 해당 예제에서는 회귀 분석 실험에 사용되는 Explained Variance scorer, 를 사용합니다.

  1. 검증(선택 사항) 및 테스트 데이터 세트와 함께 학습 데이터 세트를 선택한 후 (회귀 분석) 대상 열을 지정하여 Driverless AI에서 실험을 시작하십시오.

  2. Scorer의 기본값은 RMSE입니다. Expert Settings 를 클릭하십시오.

  3. 다음 방법 중 하나를 사용하여 사용자 정의 scorer 레시피를 지정하십시오.

  • 로컬 머신에서 driverlessai-recipes repository 를 복제한 후 Upload Custom Recipe 버튼을 이용하여 driverlessai-recipes/scorers/explained_variance.py 파일을 업로드하십시오.

  • Load Custom Recipe from URL 버튼을 클릭한 후, Python 파일에 대한 URL을 입력하십시오(해당 파일의 HTML 및 원시 버전 모두 지원됩니다).

Note: Official Recipes (Open Source) 버튼을 클릭하여 driverlessai-recipes 리포지터리를 찾아보십시오.

Driverless AI가 새로운 사용자 정의 레시피를 업로드하고 확인을 시작합니다.

  1. 실험 요약 페이지에서 새롭게 설명된 분산( EXPVAR) scorer를 선택하십시오(Note* : EXPVAR 옵션을 찾을 수 없으면 상세 설정으로 돌아가 Recipes > Include Specific Scorers 를 선택한 후, 상단의 Enable Custom 버튼을 클릭하십시오. 실험 요약으로 돌아가려면 Done 을 클릭한 후, Save 를 클릭하십시오).

  2. 추가 실험 설정을 수정한 후, Launch Experiment 를 클릭하십시오. 실험은 사용자 정의 Explained Variance scorer를 사용하여 실행됩니다.

Scorer Recipe example