Step Transform Data
สำหรับงานด้าน ข้อมูล ไม่ว่าจะทำ Big Data , Data warehouse , BI หรืออะไรก็แล้วแต่เราต้องทำขั้นตอน Transform Data กันก่อนทั้งนั้น และขึ้นตอนที่โหดร้ายที่สุด ก็คือขั้นตอนนี้แหละครับ เหตุที่มันโหดร้าย ก็เพราะมันเป็นเรื่องที่เกี่ยวกับความถูกต้องของข้อมูล แล้ว ไอ้ความถูกต้องเนีย ถูกอ้างอิง จากข้อมูลที่สรุปกันไว้ในอดีต
แต่ข้อมูลในอดีตถูกต้องหรือป่าว ไม่รู้ เพียงแต่เรายอมรับกันเท่านั้นเอง
ดังนั้นการทำให้ตรงกับข้อมูลในอดีต อาจจะไม่ใช้ความถูกต้องก็ได้ ซึ่งถ้าต้องทำเทียบข้อมูลย้อนหลังหลายๆ ปี สิ่งที่เจอคือ อาจจะถูกบางปี บางปีไม่ถูก แบบ มากไป น้อยไป แต่บางปีก็ถูกแบบนี้
ซึ่งกว่าจะได้ข้อสรุปก็ต้องเสีย เวลาไปกับเรื่องนี้อย่างมากมาย และที่สำคัญคือ งบประมาณไม่ได้เพื่อเรื่องนี้ไว้ด้วย
เอาเป็นว่าเราไม่สนละกัน ลองมาดูขั้นตอนที่มี ท่านอื่นสรุปไว้ให้ แล้วผมเอามาสรุปอีกที 555 ให้เป็นวิชาการ เป็นหลักการ ไว้หน่อย เวลาเราทำโครงการแบบนี้จะได้เข้าใจถึงขั้นตอนกันนะ
- Cleaning พวกข้อมูลที่มันความจะมี แต่ไม่มี หรือ ไม่ควรจะมีดันมี ข้อมูลที่ไม่ถูกต้องกับลักษณะข้อมูลที่ควรเป็น ลักษณะข้อมูล วัน เดือน ปี ชื่อ นามสกุล ที่อยู่ แบบนี้ ที่เราต้องหาวิธีในการจัดการกับข้อมูลแบบนี้ก่อน เพราะถ้าหลุดเข้าไปในระบบแล้ว สิ่งที่นำเสนอออกมาก็ต้องมีความผิดแน่นอน
- Filtering ช่วงข้อมูลที่ต้องการอันนี้ เช่น ช่วงปีที่เรานำมาคำนวน หรือ ค่าเงื่อนไขอะไรบางอย่าง ที่เป็นของเขตในการนำเสนอข้อมูล
- Splitting การแยกข้อมูล การตัดคำ หรือตัดช่วงของข้อมูล ในกรณีที่มาเป็น Text File ที่จำเป็นต้องตัดเอาข้อมูลที่ต้องการออกมาจาก File เช่น หมายเลข อ้างอิง หรือการตัดช่วงของข้อมูลใน Field หนึ่งๆ ที่มีข้อมูลยาวเหยีด
- Joining เพื่อสร้างข้อมูลชุดใหม่ อาจจะเพื่อการทำ Relation กับ Field อื่น อีก Table หนึ่งแบบนี้
- Transposing หมายถึงการสลับแถว กันของข้อมูล เช่น จาก นอน เป็น ตั้ง แบบนี้
- Applying Rules เช่น การใส่สูตรทางคณิต เข้าไป เพื่อสร้างเป็นข้อมูล ชุดใหม่ เช่น ผลรวมของยอดขาย หรือ ค่าเฉลี่ย แบบนี้
- Validation Rules การตรวจสอบ หรือ การทำให้ข้อมูลมีความสมบูรณ์มากขึ้น
สรุปว่าในขั้นตอนของการเตรียมข้อมูล เป็นงานหนักที่เดียวสำหรับการทำ BI ดังนั้นคำแนะนำ คือ การสร้างค่าอะไรขึ้นใน Report เราควรที่จะทำ Link ไว้ข้าง ๆ ค่านั้น ๆ เพื่อเป็น Reference ไว้ให้ชัดเจน จะช่วยให้การทำความเข้าใจ ดีขึ้นและลดปัญหาอื่นๆ อีกมากมายได้ด้วย
