데이터 전처리(Data Preprocessing)는 왜 필요하고 어떻게 이루어질까?

데이터 전처리란 무엇인가

데이터 분석 및 모델링을 수행하기 전에 데이터를 정리하고 준비하는 과정을 의미합니다. 이는 데이터의 품질을 향상하고 분석 프로세스를 더욱 효과적으로 만드는 데 중요한 역할을 합니다.

현재의 현실 세계 데이터베이스는 노이즈, 결측값 및 일관성 없는 데이터에 매우 취약합니다. 그리고 저품질의 데이터는 저품질의 데이터 마이닝 결과로 이어질 것입니다.
데이터의 품질을 좋게 만들어 결과적으로 데이터 마이닝 결과를 개선하기 위해 데이터를 전처리하는 방법과 데이터 마이닝 프로세스의 효율성과 편의성을 높이기 위해 데이터를 전처리하는 방법은 무엇이 있을까?

 

데이터 전처리가 진행되는 과정들

데이터 전처리에는 데이터를 정리하고 변환하며 분석 또는 모델링에 적합하도록 준비하는 여러 가지 중요한 작업이 포함됩니다. 데이터 전처리의 주요 작업은 다음과 같습니다

1. 데이터 클리닝(Data Cleaning)

• 결측값 처리 - 결측 데이터 포인트를 식별하고 보완하거나 삭제하는 작업.
• 이상치 관리 - 분석 또는 모델링 결과를 왜곡할 수 있는 이상치를 감지하고 처리하는 작업.
• 오류 수정 - 데이터 내의 오류(예: 오타 또는 불일치)를 식별하고 수정하는 작업.

2. 데이터 통합(Data Integration)

• 여러 소스에서 데이터를 가져와 통합하고, 형식, 속성 또는 명명 규칙에 대한 불일치를 해결하여 통일된 데이터 세트를 생성하는 작업.

3. 데이터 변환(Data Transformation)

• 데이터 정규화 또는 표준화 - 수치형 특성을 표준 범위로 조정하여 특정 특성이 분석에 지배되는 것을 방지하는 작업.
• 범주형 변수 인코딩 - 범주형 변수를 분석이나 모델링에 적합한 수치 표현으로 변환하는 작업.
• 특성 엔지니어링 - 기존 특성에서 새로운 특성을 생성하여 모델의 성능을 높이는 작업.

4. 특성 선택/추출(Feature Selection/Extraction)

• 목표 변수 또는 모델링 작업에 가장 영향을 주는 중요한 특성을 식별하고 선택하는 작업.
• 차원 축소 - 불필요하거나 중복된 특성을 제거하여 모델의 효율성과 해석력을 개선하는 작업.

5. 데이터 축소(Data Reduction)

• 샘플링 - 핵심적인 특성을 유지하면서 데이터의 부분 집합을 선택하여 계산 복잡성을 줄이는 작업.
• 차원 축소 기법 - 주성분 분석(PCA) 등을 사용하여 특성의 수를 줄이면서 가능한 많은 분산을 보존하는 작업.

6. 데이터 이산화(Data Discretization)

• 연속형 변수를 범주형으로 변환하여 분석을 단순화하거나 특정 모델링 요구 사항을 충족시키는 작업.

7. 데이터 보완(Data Imputation)

• 평균, 중앙값 또는 최빈값과 같은 방법을 사용하여 결측값을 보완하거나 K-최근접 이웃(KNN) 보완과 같은 고급 방법을 사용하여 결측값을 채우는 작업.

8. 데이터 품질 평가(Data Quality Assessment)

• 데이터의 완결성, 일관성, 정확성 및 적시성과 같은 품질을 측정하고 유지 또는 좋게 만드는 작업.
• 데이터 프로파일링을 수행하여 데이터 분포를 이해하고 잠재적인 문제를 식별하는 작업.

9. 정규화 및 표준화(Normalization and Standardization)

• 모델의 성능에 편향을 방지하고 훈련 중 수렴을 개선하기 위해 수치형 특성을 공통 스케일로 조정하는 작업.

10. 데이터 형식화(Data Formatting)

• 분석이나 모델링에 적합한 형식으로 데이터를 변환하는 작업, 예를 들어 타임스탬프를 표준 날짜 및 시간 형식으로 변환하거나 자연어 처리 작업을 위한 텍스트 데이터 전처리를 수행하는 작업.

이러한 작업들은 데이터가 일관되며 분석이나 모델링에 적합하도록 보장하여 보다 정확하고 신뢰할 수 있는 결과를 얻을 수 있도록 합니다.

 

데이터 품질 관점에서 데이터 전처리는 꼭 필요하다

데이터 품질은 해당 데이터가 사용되는 목적을 충족시키는 경우에만 존재합니다. 데이터 품질은 다양한 요소로 구성되며 다음과 같은 다차원적인 관점을 가집니다

1. 정확도(Accuracy)

• 데이터가 올바른지 여부를 나타냅니다. 즉, 데이터가 실제 값을 정확하게 반영하는지 확인해야 합니다. 잘못된 데이터는 분석이나 모델링에서 잘못된 결론에 이르는 원인이 될 수 있습니다.

2. 완전성(Completeness)

• 데이터의 완전성은 데이터가 누락된 부분이 없는지를 나타냅니다. 데이터에 누락된 항목이나 비어 있는 값이 있으면 분석 결과가 왜곡될 수 있습니다.

3. 일관성(Consistency)

• 데이터의 일관성은 데이터가 모순되지 않는지를 나타냅니다. 예를 들어, 데이터가 부분적으로 수정되지 않았거나, 관련이 없는 데이터가 섞여 있는 경우 일관성이 부족합니다.

4. 적시성(Timeliness)

• 데이터가 최신 정보를 반영하는지 여부를 나타냅니다. 데이터가 오래된 경우, 분석 결과가 현재 상황을 반영하지 못할 수 있습니다.

5. 신뢰성(Believability)

• 데이터의 신뢰성은 데이터가 올바른지에 대한 신뢰 수준을 나타냅니다. 신뢰할 수 없는 데이터는 올바르지 않은 결론을 내릴 수 있으므로 분석에 심각한 영향을 미칠 수 있습니다.

6. 해석 가능성(Interpretability)

• 데이터가 얼마나 쉽게 이해되고 해석될 수 있는지를 나타냅니다. 데이터가 복잡하거나 혼란스러우면 올바른 결정을 내리기가 어려울 수 있습니다.

이러한 데이터 품질 측면을 고려하여 데이터를 전처리하면 데이터의 신뢰성과 유용성을 향상시킬 수 있으며, 따라서 분석 결과의 신뢰도를 높일 수 있습니다.

 

결론적으로

위의 데이터 품질 관점에서의 데이터 전처리 필요성을 고려하여 앞서 나열한 데이터 전처리 과정을 통해 전처리를 진행하면 데이터의 신뢰성과 유용성과 더불어 진행할 분석 결과의 품질을 높일 수 있다.