كل النتائج، كل النماذج، كل لوحات المعلومات، وكذلك التقارير ليس لها قيمة بل قد تكون مضللة إن كانت البيانات غير صحيحة!!
لذلك يجب على العاملين في مجال #علم_البيانات التأكد من صحة البيانات قبل البدء في التحليل واستخراج النتائج.. أسفل هذه التغريدة سأتكلم عن طرق التأكد من صحة البيانات https://t.co/Psv3YSpXLh
نقصد بصحة البيانات مطابقتها للواقع، كل سجل بيانات يقابله 'شيء' في الواقع، سجل البيانات قد يمثل شيء مثل "شخص" أو "كتاب" أو "مبنى" أو "سيارة" أو ...الخ، لذلك الصحة تعني مطابقة ماسُجل في البيانات مع القيم الحقيقية لهذا الشيء، وهناك عدة عوامل تؤثر في "الصحة" وعدة طرق للتحقق منها
طريقة جمع البيانات تؤثر على مدى صحتها، هناك عدة طرق لجمع البيانات كالاستبانات والمقابلات "subjective"، و الأنظمة الألكترونية وأجهزة الاستشعار "objective"، الأولى أكثر عرضة للاخطاء لوجود العنصر البشري، والثانية يغلب عليها الصحة مالم تكون هناك اخطاء برمجية تُنتج بيانات غير دقيقة
لتوضيح الفرق بين الطريقتين لنفترض أن لدينا موظف يقوم بمحاسبة العملاء، البيانات المقرؤة الكترونياً مثل التاريخ في الغالب تكون دقيقة، الاخطاء المحتملة تكون في البيانات التي يتم إدخالها يدوياً كرقم جوال العميل، لذا فإن معرفة طريقة جمع البيانات تساعدنا في معرفة مدى صحة البيانات
أحد طرق التحقق من صحة البيانات هي أن نقوم بالتواصل مع عينة من العملاء بطريقة عشوائية للتأكد من أن البيانات المسجلة عنهم صحيحة مثل(الاسم، العمر، الجنسية)، طبعاً لو تم التواصل معهم عن طريق الجوال فإن التواصل نفسه يعتبر طريقة عملية للتحقق من صحة رقم الجوال، لو كان الرد الرقم خطأ!
