데이터 전처리 필요성
1) 빅데이터 분석, AI 프로젝트의 어려움
2) 잘못된 데이터
데이터 전처리란?
•
원본 데이터를 이해할 수 있는 형식으로 변환하는 단계
•
데이터 전처리는 데이터 분석 또는 시각화를 하기 전에 데이터를 가공하는 활동
•
데이터 전처리는 전체 데이터 분석의 70~80%의 비중 차지
•
데이터 전처리 결과에 따라 데이터 분석 성능이 달라지므로 매우 중요함
데이터 전처리 과정
데이터 전처리 기술의 유형
데이터 전처리 | 설 명 |
데이터 정제 | - 결측치 처리, 이상치 처리를 통해 잘못된 데이터를 올바르게 수정하거나 삭제하는 작업 |
데이터 통합 | - 2개 이상 데이터 객체를 하나의 데이터 객체로 합치는 작업
- 데이터 조인, 데이터 병합 등 |
데이터 변환 | - 기존에 보유한 데이터를 연산을 통해 분석에 필요한 새로운 변수를 생성
- 파생변수, 원핫 엔코딩 |
데이터 축소 | - 데이터 정렬을 변환하여 분석에 용이하도록 구조를 바꾸는 작업
- 피봇테이블, 데이터 소팅, 행렬 전환, 행 변경 등 |