03. 오버피팅(Overfitting)과 언더피팅(Underfitting) 문제에 대한 해결책들

  먼저 오버 피팅과 언더 피팅이 무엇인가에 대한 간단한 설명을 드리자면 인공지능이 학습을 하기 위해 수많은 데이터를 가지고 학습을 시작합니다. 하지만 내가준 표본이 한국의 남성들의 교통수단 이란 내용이라 가정을 하면 서울에 사는 사람들은 지하철을 많이 이용하고 지방에 사는 사람들은 개인 자동차나 버스를 활용하여 이동하는 경우가 많을 것입니다. 그런데 내가 표본을 나누면서 서울에 사는 사람들에 대한 데이터를 많이 집어 넣게 되면 인공지능이 학습하기에 한국의 남자들은 지하철을 많이 타는구나 라는 학습을 하게 될수 있습니다.

  이러한 데이터상의 노이즈 까지 답이라 생각하며 학습하는 것을 오버피팅 반대로 학습해야 될 내용을 적게 학습하여 정답을 지나치게 되는 경우를 언더피팅이라 합니다.

  아래에서 각각에 대하여 조금더 자세하게 알아보도록 할까요?

오버피팅

오버 피팅(overfitting)은 머신러닝에서 학습된 모델이 훈련 데이터에만 과하게 적합하고, 새로운 테스트 데이터나 실제 데이터에서는 성능이 떨어지는 현상을 말합니다. 학습 데이터에 모델을 맞추면, 모델은 시스템 내의 패턴이나 노이즈까지 모두 포함하게 됩니다. 그러면 새로운 데이터가 입력되면 이러한 패턴과 노이즈까지 모두 맞추기 때문에 예상치 못한 결과가 발생합니다. 오버 피팅을 방지하기 위해서는, 일반화(Generalization)을 고려해야 합니다. 일반화란 훈련 데이터뿐만 아니라 새로운 데이터에 대해서도 모델이 잘 동작하도록 하는 것입니다. 이를 위해서는 다음과 같은 방법을 사용할 수 있습니다. 1. 데이터를 다양하게 수집하고 전처리를 잘 수행하는 것이 중요합니다. 특성 선택, 이상치 제거, 노이즈 제거 등을 포함한 전처리 단계에서 양질의 데이터를 선택하고 처리해야 합니다. 2. 모델 구조와 인자를 조절하는 것이 중요합니다. 모델의 복잡한 구조나 훈련 인자들을 최적화하는 방법을 사용합니다. 이는 교차 검증, 드롭아웃, 정규화 등을 적용하여 구현할 수 있습니다. 3. 데이터를 훈련, 검증, 테스트 데이터로 분할하여 모델을 학습합니다. 이를통해 모델의 일반화 성능을 평가하게 됩니다. 4. 최종 모델을 생성하기 전에, 다양한 모델을 생성하고 비교해 보는 것이 좋습니다. 이는 앙상블 모델, 다양한 특성 추출기를 사용한 모델 등이 있습니다. 오버 피팅은 모델이 과하게 복잡하거나 데이터가 충분하지 않은 경우에 발생할 수 있습니다. 이러한 문제를 방지하고 일반화 성능을 향상시키기 위해서는 데이터 수집과 전처리, 모델 구조와 인자를 조절하는 등의 방법이 중요하다는 것을 기억해야 합니다.

언더피팅

인공지능 언더 피팅(underfitting)은 학습된 모델이 훈련 데이터에 적합하지 않은 경우를 말합니다. 즉, 모델이 데이터의 복잡한 패턴을 학습하지 못했다는 것입니다. 언더 피팅은 모델이 데이터에 대한 충분한 정보를 학습하지 못하는 경우에 발생할 수 있습니다. 이는 모델의 구조가 너무 단순하거나, 훈련 데이터가 부족한 경우에 쉽게 발생할 수 있습니다. 언더 피팅을 방지하기 위해서는, 모델이 데이터의 복잡한 패턴까지 학습할 수 있도록 모델 구조와 인자를 조절해야 합니다. 또한, 적절한 데이터 전처리 및 학습 과정을 수행하여 모델이 충분한 정보를 학습할 수 있도록 해야 합니다. 모델 구조의 경우, 모델의 복잡도를 높여서 데이터의 복잡한 패턴을 학습할 수 있도록 해야 합니다. 이는 층의 개수나 유닛 수를 늘리는 등의 방법으로 구현할 수 있습니다. 학습 과정에서는, 학습 데이터를 최대한 활용하여 모델이 충분한 정보를 학습할 수 있도록 해야 합니다. 이를 위해 데이터 전처리 과정에서는 노이즈 제거나 잘못된 레이블 제거 등을 수행해야 합니다. 또한, 적절한 학습 인자를 설정하여 모델 학습을 최적화해야 합니다. 언더 피팅은 모델의 구조가 너무 단순한 경우나 데이터가 부족한 경우에 쉽게 발생합니다. 이러한 문제를 방지하고 정확한 예측을 위해서는 모델의 구조와 인자를 조절하여 충분한 정보를 학습하게 하고, 데이터 전처리 및 학습 인자 조절 등의 방법을 사용하여 모델의 학습 과정을 최적화해야 합니다.