پاکسازی داده یعنی چه؟#
داده‌ی واقعی تقریباً هیچ‌وقت تمیز نیست. مشتری‌ای دو بار ثبت شده، شماره‌ی موبایلی یازده رقم نیست، شهر یک‌جا «اصفهان» و جای دیگر «اصفهون» نوشته شده. پاکسازی داده یعنی پیدا و اصلاح کردن این ایرادها پیش از تحلیل. قاعده‌ی معروف می‌گوید: ورودی کثیف، خروجی کثیف.
مشکلات رایج#
- رکوردهای تکراری
- مقدارهای خالی
- قالب‌های ناهماهنگ (تاریخ شمسی و میلادی)
- خطای تایپی و املایی
- مقدارهای غیرمنطقی، مثل سن ۳۰۰ سال
نکته‌ی فارسی#
دو کاراکتر «ی» و «ک» عربی و فارسی در داده‌های ایرانی زیاد قاطی میشوند. «علی» با «ی» عربی در جست‌وجو با «علی» فارسی یکی نیست. ارقام فارسی و انگلیسی هم باید یکدست شوند.
مراحل کار#
- نگاه اولیه به داده و پیدا کردن مشکل‌ها
- حذف تکراری‌ها
- تصمیم درباره‌ی مقدارهای خالی (پر کردن یا حذف)
- یکسان‌سازی قالب
- بررسی مقدارهای پرت
ابزارها#
اکسل و گوگل شیت برای حجم کم، OpenRefine برای تمیز کردن بصری، و پایتون (کتابخانه‌ی pandas) برای حجم بیشتر.
توصیه#
همه‌ی تغییرها را ثبت کنید و نسخه‌ی اصلی را نگه دارید تا بتوانید به آن برگردید.