프로젝트 작업 영역¶
Driverless AI는 특정한 비즈니스 문제 또는 사용 사례와 관련된 데이터 세트 및 실험을 관리하는 프로젝트 작업 영역(Project Workspace)을 제공합니다. 사기를 감지하거나 사용자 유지율을 예측하려는 경우 데이터 세트 및 실험을 개별 프로젝트에 저장할 수 있습니다. 프로젝트 페이지의 리더보드를 통해 성능과 결과를 쉽게 비교하고 최상의 문제 해결 솔루션을 식별할 수 있습니다.
다음 섹션에 프로젝트 생성 및 관리 방법이 설명되어 있습니다.
Note: 프로젝트 페이지에서 MLOps로 Driverless AI 실험을 내보내는 방법에 대해서는 https://docs.h2o.ai/mlops-release/latest-stable/docs/userguide/using.html#exporting-experiments-from-driverless-ai-into-mlops 를 참조하십시오.
프로젝트 작업 영역 생성하기¶
프로젝트 작업 영역을 생성하려면
상단 메뉴에서 Projects 옵션을 클릭합니다.
New Project 를 클릭합니다.
프로젝트의 이름을 지정하고 설명을 입력합니다.
Create Project 를 클릭합니다. 빈 프로젝트 페이지가 생성됩니다.
프로젝트 페이지에서 데이터 세트 및/또는 실험을 연결하고, 새 실험을 실행하고, 스코어링 데이터 세트에 대한 실험에 점수를 매길 수 있습니다. 기존 실험을 프로젝트에 연결하면 실험에 사용된 데이터 세트가 자동으로 프로젝트에 연결됩니다(이전에 연결되지 않은 경우).
데이터 세트 연결¶
Driverless AI에 추가된 모든 데이터 세트는 프로젝트에 연결됩니다. 또한 실험을 연결하면 해당 실험에 사용된 데이터 세트도 자동으로 프로젝트에 연결됩니다.
데이터 세트를 연결하려면
Link Dataset 버튼을 클릭한 다음 업로드할 데이터 세트 형식을 선택합니다. Training, Testing 및 Validation 중에서 고를 수 있습니다.
연결할 데이터 세트를 선택합니다.
(옵션) 선택한 데이터 세트에 기반하여 완료된 실험이 있는 경우 이 연결도 선택할 수 있습니다.
(옵션) 연결된 데이터 세트 목록을 형식별로 필터링하려면 Filter Dataset Type 을 클릭한 다음 표시할 데이터 세트 형식을 선택합니다. Training, Testing, Validation 중에서 고를 수 있습니다.
데이터 세트가 연결되면 데이터 세트 페이지와 동일한 메뉴 옵션이 여기에 나타납니다. 자세한 내용은 Driverless AI에서의 데이터 세트 를 참조하십시오.
데이터 세트 선택¶
데이터 세트 섹션에서 training, validation 또는 testing 데이터 세트를 선택할 수 있습니다. Experiments 섹션에는 선택한 데이터 세트를 사용하는 프로젝트의 실험이 표시됩니다.
실험 연결¶
기존 실험을 선택하여 프로젝트에 연결할 수 있습니다. 또한 이 페이지에서 새 실험을 실행하거나 기존 실험을 체크포인팅할 수 있습니다. 프로젝트 페이지에서 시작된 실험은 자동으로 프로젝트에 연결됩니다.
기존 실험을 프로젝트에 연결하려면 Link Experiments 를 클릭하고 연결에 포함시킬 실험을 선택합니다. 실험을 연결하면 실험 생성 시 사용된 데이터 세트도 자동으로 연결됩니다.
새 실험¶
프로젝트 내에서 실험을 실행할 때는 연결된 데이터 세트 또는 파일 시스템에서 사용할 수 있는 데이터 세트만 사용할 수 있습니다.
새 실험을 시작하려면 New Experiment 링크를 클릭합니다.
Training 데이터 및 옵션인 Validation 및/또는 Testing 데이터를 선택합니다.
원하는 실험 설정( 실험 설정 및 상세 설정 참조)을 지정한 다음 Launch Experiment 를 클릭합니다.
실험은 진행되어 완료될 때까지 Experiments 리더보드 상단에 표시되며 Experiments 페이지에서도 볼 수 있습니다.
실험 체크포인팅¶
실험이 프로젝트에 연결되면 Experiments 페이지와 동일한 실험 체크포인팅 옵션을 여기에서 사용할 수 있습니다. 자세한 내용은 체크포인팅, 재실행, 재학습 을 참조하십시오.
실험 목록¶
비즈니스 문제를 해결하려고 하는 경우, 일반적인 워크플로우에 다른/새로운 데이터 또는 다양한 설정을 사용한 여러 실험의 실행이 포함되며, 최적의 솔루션은 사용자 및/또는 비즈니스 문제에 따라 다를 수 있습니다. 어떤 사용자에게는 유효성 검사 및 시험 데이터의 accuracy가 가장 높은 모델이 최적의 모델이 될 수 있습니다. 또 어떤 사용자에게는 성능이 더 높은(예측이 더 빠른) 모델이 정확성보다 더 중요하기도 합니다. 이것은 허용 가능한 수준의 accuracy에서 얼마나 빠르게 모델을 훈련시킬 수 있는가를 의미할 수 있습니다. Experiement 목록을 통해 비즈니스 문제에 대한 최상의 솔루션을 찾을 수 있습니다.
목록은 실험 이름을 기준으로 나열됩니다. 실험 메뉴의 열 제목 옆에 있는 위쪽/아래쪽 화살표를 선택하여 실험 정렬을 변경할 수 있습니다.
실험의 오른쪽 메뉴 위에 마우스를 가져가면 문제 유형, 사용된 데이터 세트, 대상 열 등 실험에 대한 추가 정보를 볼 수 있습니다.
실험 점수 매기기¶
프로젝트에 연결된 실험은 완료 시 유효성 검사 및 테스트 점수를 표시합니다. 다른 데이터 세트에 대한 실험의 점수를 매길 수도 있습니다. 이렇게 하려면 먼저 Link Dataset 버튼을 클릭하고 드롭다운 메뉴에서 Testing 을 선택하여 데이터 세트를 추가해야 합니다. 테스트 데이터 세트를 추가한 다음 Score on Scoring Data 버튼을 누르고 적용할 테스트 데이터 세트와 함께 점수를 매길 실험을 선택합니다. 이렇게 하면 진단 작업이 트리거되며 그 결과는 진단 페이지에 나타납니다(자세한 내용은 Diagnosing a Model 참조). 채점 프로세스가 완료되면 그 결과가 Score 및 Scoring Time 열에 표시됩니다. Score 열에는 Show Results for Scorer 선택기로 지정한 scorer에 대한 결과가 나타납니다.
Notes:
데이터 세트에 대한 실험에 이미 점수가 매겨진 경우, Driverless AI가 다시 점수를 매길 수 없습니다. 점수 매기기 단계는 확정적(deterministic)이므로, 특정한 테스트 데이터 세트 및 실험 조합의 경우 반복 횟수에 관계없이 점수가 동일합니다.
테스트 데이터 세트에는 점수를 매기는 다양한 실험에서 예상되는 모든 열이 있어야 합니다. 그러나 테스트 데이터 세트의 열이 실험에서 예상되는 입력 기능과 정확히 일치할 필요는 없습니다. 테스트 데이터 세트에 열이 추가될 수 있습니다. 이러한 열을 학습에 사용하지 않는 경우, 이는 무시됩니다. 이 기능을 사용하면 다양한 학습 데이터 세트에 대한 실험을 교육할 수 있으며(즉, 다른 기능 제공), 이러한 모든 기능 열을 포함하는 《uber test dataset》가 있는 경우, 동일한 데이터 세트를 사용하여 이러한 실험에 점수를 매길 수 있습니다.
Test Time 열은 Experiments 리더보드에서 사용할 수 있습니다. 이 값은 실험 유형에 해당되는 모든 scorer의 실험 점수를 계산하는 데 걸린 총 시간(초)을 나타냅니다. 실험의 런타임 성능을 추정해야 하는 사용자에게 유용합니다.
실험 비교¶
두 개 또는 세 개의 실험을 비교하고 각 실험의 세부 정보를 나란히 볼 수 있습니다.
비교할 실험을 두 개 또는 세 개 선택합니다. 실험은 최대 3개까지 비교할 수 있습니다.
Compare n Items 버튼을 클릭합니다.
Compare Experiments 페이지가 열립니다. 이 페이지에는 각 실험에 대한 실험 요약 및 메트릭 플롯이 포함되어 있습니다. 메트릭 플롯은 실험이 분류(classification) 실험인지 회귀 분석(regression) 실험인지에 따라 다릅니다.
분류 실험의 경우 페이지의 내용은 다음과 같습니다.
변수 중요도 목록
혼동 행렬
ROC 곡선
정밀도 재현율 곡선(precision recall curve)
리프트 차트(Lift Chart)
게인 도표(Gain Chart)
Kolmogorov-Smirnov 차트
회귀 분석 실험의 경우 페이지의 내용은 다음과 같습니다.
변수 중요도 목록
실제값 대 예측값 그래표
프로젝트 페이지의 데이터 연결 해제¶
데이터 세트 및/또는 실험의 연결을 해제해도 Driverless AI에서 해당 데이터가 삭제되지는 않습니다. 데이터 세트와 실험은 Datasets 및 Experiments 페이지에서 계속 사용할 수 있습니다.
데이터 세트를 클릭하고 메뉴에서 Unlink 를 클릭하여 데이터 세트의 연결을 해제합니다. Note: 동일한 프로젝트의 실험에 연결된 데이터 세트는 연결 해제할 수 없습니다.
실험을 선택하고 Unlink Item 버튼을 클릭하여 실험의 연결을 해제합니다. 실험에 연결된 데이터 세트는 자동으로 연결 해제되지 않습니다.
프로젝트 삭제¶
프로젝트를 삭제하려면 상단 메뉴에서 Projects 옵션을 클릭하여 기본 프로젝트 페이지를 엽니다. 맨 오른쪽 열의 점선 메뉴를 클릭한 다음 Delete를 선택합니다. 삭제를 확인하는 메시지가 표시됩니다.
프로젝트를 삭제해도 Driverless AI에서 데이터 세트와 실험이 삭제되지는 않습니다. 삭제된 프로젝트의 모든 데이터 세트와 실험은 Datasets 및 Experiments 페이지에서 계속 사용할 수 있습니다.
