transform data

Step Transform Data สำหรับงานด้าน ข้อมูล ไม่ว่าจะทำ Big Data , Data warehouse , BI หรืออะไรก็แล้วแต่เราต้องทำขั้นตอน Transform Data กันก่อนทั้งนั้น และขึ้นตอนที่โหดร้ายที่สุด ก็คือขั้นตอนนี้แหละครับ เหตุที่มันโหดร้าย ก็เพราะมันเป็นเรื่องที่เกี่ยวกับความถูกต้องของข้อมูล แล้ว ไอ้ความถูกต้องเนีย ถูกอ้างอิง จากข้อมูลที่สรุปกันไว้ในอดีต แต่ข้อมูลในอดีตถูกต้องหรือป่าว ไม่รู้ เพียงแต่เรายอมรับกันเท่านั้นเอง ดังนั้นการทำให้ตรงกับข้อมูลในอดีต อาจจะไม่ใช้ความถูกต้องก็ได้ ซึ่งถ้าต้องทำเทียบข้อมูลย้อนหลังหลายๆ ปี สิ่งที่เจอคือ อาจจะถูกบางปี บางปีไม่ถูก แบบ มากไป น้อยไป แต่บางปีก็ถูกแบบนี้ ซึ่งกว่าจะได้ข้อสรุปก็ต้องเสีย เวลาไปกับเรื่องนี้อย่างมากมาย และที่สำคัญคือ งบประมาณไม่ได้เพื่อเรื่องนี้ไว้ด้วย เอาเป็นว่าเราไม่สนละกัน ลองมาดูขั้นตอนที่มี ท่านอื่นสรุปไว้ให้ แล้วผมเอามาสรุปอีกที 555 ให้เป็นวิชาการ เป็นหลักการ ไว้หน่อย เวลาเราทำโครงการแบบนี้จะได้เข้าใจถึงขั้นตอนกันนะ Cleaning พวกข้อมูลที่มันความจะมี แต่ไม่มี…