데이터 세트: 원본 데이터 세트 분할

우수한 소프트웨어 엔지니어링 프로젝트는 모두 앱 테스트에 상당한 노력을 기울입니다. 마찬가지로 ML 모델을 테스트하여 예측의 정확성을 확인하는 것이 좋습니다.

학습, 검증, 테스트 세트

모델을 학습하는 데 사용된 예시와 다른 예시를 사용하여 모델을 테스트해야 합니다. 조금 후에 알아볼 수 있듯이, 동일한 예시 세트를 테스트하는 것보다 다양한 예시를 테스트하는 것이 모델의 적합성을 더 강력하게 증명합니다. 다양한 예시는 어디에서 가져오나요? 기존 머신러닝에서는 원본 데이터 세트를 분할하여 이러한 다양한 예시를 얻었습니다. 따라서 원래 데이터 세트를 두 개의 하위 집합으로 분할해야 한다고 가정할 수 있습니다.

• 모델을 학습시키는 학습 세트입니다.
• 학습된 모델을 평가하기 위한 테스트 세트입니다.

연습문제: 직관력 테스트

데이터 세트를 두 세트로 나누는 것도 좋지만 데이터 세트를 세 개의 하위 집합으로 나누는 것이 더 좋습니다. 학습 세트와 테스트 세트 외에도 세 번째 하위 집합은 다음과 같습니다.

• 검증 세트는 모델이 학습되는 동안 모델에 대한 초기 테스트를 실행합니다.

검증 세트를 사용하여 학습 세트의 결과를 평가합니다. 검증 세트를 반복적으로 사용한 결과 모델이 좋은 예측을 하고 있다고 판단되면 테스트 세트를 사용하여 모델을 다시 한번 확인합니다.

다음 그림은 이 워크플로를 보여줍니다. 그림에서 '모델 조정'은 학습률 변경, 기능 추가 또는 삭제, 완전히 새로운 모델을 처음부터 설계하는 등 모델에 관한 모든 것을 조정하는 것을 의미합니다.

그림 10에 표시된 워크플로가 최적이지만 이 워크플로를 사용하더라도 테스트 세트와 검증 세트는 반복적으로 사용하면 '마모'됩니다. 즉, 동일한 데이터를 사용하여 초매개변수 설정이나 기타 모델 개선사항에 관해 결정할수록 모델이 새 데이터에 관해 정확한 예측을 할 확률이 낮아집니다. 따라서 테스트 세트와 검증 세트를 '새로고침'하기 위해 더 많은 데이터를 수집하는 것이 좋습니다. 새롭게 시작하는 것은 좋은 재설정입니다.

연습문제: 직관력 테스트

테스트 세트의 추가 문제

이전 질문에서 설명한 것처럼 중복 예시는 모델 평가에 영향을 줄 수 있습니다. 데이터 세트를 학습, 검증, 테스트 세트로 분할한 후 검증 세트 또는 테스트 세트에서 학습 세트의 예시와 중복되는 예시를 삭제합니다. 모델을 공정하게 테스트하는 유일한 방법은 중복이 아닌 새 예시를 사용하는 것입니다.

예를 들어 제목, 이메일 본문, 발신자의 이메일 주소를 특성으로 사용하여 이메일이 스팸인지 여부를 예측하는 모델을 생각해 보세요. 데이터를 80-20 분할로 학습 세트와 테스트 세트로 나눈다고 가정해 보겠습니다. 학습 후 모델은 학습 세트와 테스트 세트 모두에서 99% 의 정밀도를 달성합니다. 테스트 세트의 정밀도가 더 낮을 것으로 예상되므로 데이터를 다시 살펴본 결과 테스트 세트의 예시 중 상당수가 학습 세트의 예시와 중복되는 것으로 확인됩니다. 문제는 데이터를 분할하기 전에 입력 데이터베이스에서 동일한 스팸 이메일의 중복 항목을 삭제하지 않은 것입니다. 실수로 일부 테스트 데이터를 학습했습니다.

요약하자면 좋은 테스트 세트 또는 유효성 검사 세트는 다음 기준을 모두 충족합니다.

• 통계적으로 유의미한 테스트 결과를 얻을 만큼 충분히 큽니다.
• 데이터 세트를 전체적으로 표현해야 합니다. 즉, 평가 세트가 학습 세트와 같은 특징을 가지도록 선별해야 합니다.
• 모델이 비즈니스 목적의 일환으로 접하게 되는 실제 데이터를 나타냅니다.
• 학습 세트에 중복된 예가 없습니다.

연습문제: 이해도 확인