리더 보드

Driverless AI는 리더 보드의 자동 생성 기능을 제공합니다.

Create Leaderboard 기능은 데이터 세트의 개요를 제공하는 다양한 실험을 실행합니다. 이 기능은 또한 모델을 프로덕션에 투입할 때 복잡성, accuracy, 크기 및 시간 트레이드오프를 결정하기 위해 이에 관련된 정보를 제공합니다. 이 기능의 제어에 사용할 수 있는 상세 설정에 대한 정보는 상세 설정 을 참조하십시오. 리더 보드용으로 빌드된 기본 모델에 대해 더 자세한 내용은 리더 보드 모델 를 참조하십시오.

빌드된 모델은 프로젝트 작업 영역 페이지 밑에 배치되고 테스트 데이터 세트에서 동시에 점수를 매기고 비교할 수 있습니다.

리더 보드 생성

리더 보드의 생성은 new experiment 를 실행하는 것과 비슷합니다. 실험 실행 시, 설정할 수 있는 옵션에 대해 더 자세한 내용은 실험 설정, 상세 설정 및 Scorer 을 참조하십시오.

1. Datasets 페이지에서 실험에 사용할 데이터 세트를 선택한 후 Predict 를 클릭하십시오.

   또는

   Experiments 페이지에서 New Experiment 를 클릭한 후, 사용할 데이터 세트를 선택합니다.

2. 삭제된 열, 유효성 검사 데이터 세트 및 시험 데이터 세트의 포함 여부를 지정하십시오.

3. 대상 열을 지정하고 필요에 따라 접기 열, 가중치 열 및 시간 열을 지정하십시오.

4. 선택적으로 상세 설정 을 지정하십시오.

5. 선택적으로 accuracy/시간/ 해석 가능성 노브를 조정하십시오.

6. 선택적으로 기본 scorer를 재정의하십시오.

7. 선택적으로 분류/회귀 분석 설정을 재정의하십시오

8. 선택적으로 실험을 재현할 수 있도록 지정하거나 GPU 사용 여부를 지정하십시오.

9. Create Leaderboard 버튼을 클릭합니다.

Driverless AI는 무작위로 이름을 정한 새로운 프로젝트를 생성하고, 대기 메커니즘을 통해 모델을 자동으로 학습시키기 시작합니다. 새로운 프로젝트에는 《Automatic Leader Board” 라는 설명이 부여됩니다. 모든 모델을 구축한 후 프로젝트 작업 영역 토픽에 설명된 대로 score each experiment 및 compare experiments 를 수행할 수 있습니다.

리더 보드 모델

리더 보드 생성 시, 빌드되는 모델은 일반 실험을 실행하는지 time series 실험을 실행하는지의 여부에 따라 다릅니다.

일반 실험

기본적으로 정규(non-time series) 실험을 위한 리더 보드의 생성 시, 다음 모델이 빌드됩니다. 상세 설정 에서 해당 모델을 비활성화하여 모델 빌드를 생략할 수 있습니다.

모델	Accuracy	시간	해석 가능성	Config 재정의
몇 가지 기능 Decision Tree	1	1	10	max_orig_cols_selected=5 nfeatures_max=10
단순 LightGBM	1	1	10
일정한 베이스라인	1	1	10	max_orig_cols_selected=1
단일 Decision Tree	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
단일 GLM	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
복합 LightGBM 앙상블	7	실험에서 지정됨	실험에서 지정됨
몇 가지 기능 단일 LightGBM	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	max_orig_cols_selected=5 nfeatures_max=10 fixed_ensemble_level=0
기본 단일 LightGBM	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
기본 XGBoost/LightGBM 앙상블	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨
단일 FTRL	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
단일 TensorFlow	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0

Time Series 실험

Driverless AI는 기본 Driverless AI 설정을 사용해 하나의 time series 실험을 구축합니다. time series 실험을 위한 리더 보드의 생성 시, 다음 추가 모델도 빌드됩니다.

Notes:

• 지연 기반 기능은 time series 기준 모델에 항상 포함됩니다.

• 일반 실험과는 달리 리더 보드는 지정된 accuracy/시간/해석 가능성 설정을 사용하는 모델만 빌드합니다.

• 각각의 transformer에 대한 정보는 Driverless AI 변환 주제를 참조하십시오.

모델	포함된 모델	포함된 Transformers	Config 재정의
지수평활법	GLM	EwmaLagsTransformer	nfeatures_max=10
Target Lags DecisionTree	Decision Tree	LagsTransformer	nfeatures_max=10
Target Lags GLM	GLM	LagsTransformer, EwmaLagsTransformer, LagsAggregatesTransformer	nfeatures_max=50
Target Lags LightGBM/XGBoost	LightGBM, XGBoostGBM	LagsTransformer, EwmaLagsTransformer, LagsAggregatesTransformer	nfeatures_max=50