How to remove duplicate by AzureML

Blog

บทที่ 8-How to remove duplicate by AzureML วิธีการลบข้อมูลที่ซ้ำกันง่าย ๆ ด้วย AzureML กระบวนการเตรียมข้อมูลก่อนนำไปสร้างโมเดลนั้นเป็นกระบวนการที่ใช้เวลานานที่สุดเนื่องจากชุดข้อมูลที่เราได้มานั้นไม่ได้อยู่ในรูปแบบที่สมบูรณ์และหนึ่งในปัญหาของกระบวนการเตรียมข้อมูลคือ การที่มีข้อมูลซ้ำกันหรือที่เรียกว่า Duplication ซึ่งมีส่งผลกับกระบวนการผลของ Train ของโมเดล ทำให้เราต้องจัดการกับข้อมูลที่ซ้ำกันหล่านี้ก่อนการสร้างโมเดลนั้นเองค่ะ โดยมีตัวอย่างของข้อมูลที่ซ้ำกัน ดังรูป โดยเราสามารถจัดการกับข้อมูลที่ Duplication ได้ง่าย ๆ โดยใช้ AzureML  ดังนี้ ลากข้อมูลที่เราต้องการลบแถวที่ซ้ำกันหรือต้องการสร้างโมเดลมาไว้บน Workspace โดยนำข้อมูลที่เรานำเข้ามาจาก Saved Dataset เลือก My Datasets หรือจากนั้นลากชุดข้อมูลที่เราต้องการมาไว้บน Workspace และหากเราต้องการนำเข้าข้อมูลในรูปแบบอื่น เช่น นำเข้าข้อมูลจากเว็บ เราก็เลือก module นั้นมาวางได้เลย หา Module ที่ชื่อว่า Remove Duplicate row แล้วลากมาวางบน Workspace จากนั้นลากเส้นเชื่อม Module กับชุดข้อมูลของเรา กด…

How to change data type and change columns name

Blog

บทที่ 7-How to change data type and change columns name วิธีการเปลี่ยนชนิดของข้อมูลและชื่อคอลัมน์โดยใช้ AzureML ในกระบวนการเตรียมข้อมูล (Preprocess) นั้นปัญหาที่เรามักพบและต้องทำการแก้ไขในกระบวนการการเตรียมข้อมูลนี้คือชนิดของข้อมูลในแต่ละคอลัมน์ไม่ตรงกับที่เราต้องการเช่น เราต้องการข้อมูลแบบ category แต่ข้อมูลของเราดันเป็น numeric  หรือการที่เรานำเข้าข้อมูลมา หรือมีการเปลี่ยนแปลข้อมูลในกระบวนการก่อนหน้าทำให้เราต้องแก้ไขชื่อคอลัมน์เหล่านั้นซึ่งสิ่งเหล่านี้สามารถทำได้โดยใช้ module ที่ชื่อว่า Edit Metadata ซึ่งมีขั้นตอนใน AzureML ดังนี้ ลากข้อมูลที่เราต้องการเปลี่ยนชนิดของข้อมูลหรือเปลี่ยนชื่อคอลัมน์มาไว้บน Workspace โดยนำข้อมูลที่เรานำเข้ามาจาก Saved Dataset เลือก My Datasets จากนั้นลากชุดข้อมูลที่เราต้องการมาไว้บน Workspace  และหากเราต้องการนำเข้าข้อมูลในรูปแบบอื่น เช่น นำเข้าข้อมูลจากเว็บ เราก็เลือก module นั้นมาวางได้เลย จากนั้นเราจะดูรายละเอียดของชนิดของข้อมูลโดยการคลิกขวาที่วงกลมเล็ก ๆ ใต้ชุดข้อมูลที่เรานำมาวาง แล้วเลือก Visualize เพื่อดูว่ามีคอลัมน์ไหนที่ชนิดของข้อมูลไม่ตรงหรือมีคอลัมน์ที่ต้องการเปลี่ยนชื่อหรือไม่ เช่นในตัวอย่างเราต้องการเปลี่ยนคอลัมน์ Income จาก string เป็น…

How to add rows and columns by AzureML

Blog

บทที่ 6 How to add rows and columns by AzureML วิธีการเพิ่มแถวและคอลัมน์แบบชิว ๆ ได้ด้วย AzureML เมื่อเราพูดถึงกระบวนการเตรียมข้อมูล (Preprocess) หนึ่งในกระบวนการเตรียมข้อมูลที่เราต้องพูดถึงคือกระบวนการเพิ่มแถวและคอลัมน์ ซึ่งกระบวนการเหล่านี้เกิดมาจากการที่เรามีแหล่งเก็บข้อมูลหลายที่หรือการเก็บหลายรอบทำให้มีไฟล์ข้อมูลแยกกันเราจึงต้องนำข้อมูลเหล่านี้มารวมกันก่อนจะนำข้อมูลไปสร้างโมเดลของเราที่เราต้องการซึ่งการเพิ่มแถวและคอลัมน์นี้ AzureM สามารถช่วยคุณได้ โดยมีวิธีการง่าย ๆ ดังนี้ ลากข้อมูลที่เราต้องการเพิ่มแถวหรือเพิ่มคอลัมน์หรือต้องการสร้างโมเดลมาไว้บน Workspace โดยนำข้อมูลที่เรานำเข้ามาจาก Saved Dataset เลือก My Datasets จากนั้นลากชุดข้อมูลที่เราต้องการทั้งสองข้อมูลมาไว้บน Workspace และหากเราต้องการนำเข้าข้อมูลในรูปแบบอื่นเราก็เลือก module นั้นมาวางได้เลยค่ะ  โดยในตัวอย่างของเรา ไฟล์แรกมี 8 แถวและไฟล์ที่สองมี 17 แถว ดังรูป เมื่อเราต้องการจะเพิ่มแถวให้กับไฟล์แรกโดยนำแถวในไฟล์ที่สองมาต่อสามารถทำได้โดยการหา Module ที่ชื่อว่า Add Rows จากนั้นลากมาวางบน Workspace แล้วลากเส้นเชื่อมจากข้อมูลทั้งสองไฟล์มาเชื่อมกับ Module ที่เราลากมาไว้แล้ว ดังรูป กด…

How to know details of dataset by AzureML

Blog

เราสามารถดูรายละเอียดของชุดข้อมูลของเรา โดย Azure ML ได้อย่างไร             เมื่อเราต้องการที่จะสร้างโมเดลของเราเองจากชุดข้อมูลที่เรามีอยู่นั้น ก่อนที่เราจะทำการสร้างโมเดลเราจะต้องรายละเอียดของข้อมูลเบื้องต้นก่อน เพื่อที่เราจะได้เลือกวิธีการจัดการกับข้อมูลให้เหมาะสมกับข้อมูลของเรา โดยมีวิธีการดังนี้ 1. ลากข้อมูลที่เราต้องการสร้างโมเดลมาไว้ที่บน Workspace โดยนำข้อมูลที่เรานำเข้ามาจาก Saved Dataset เลือก My Datasets จากนั้นลากชุดข้อมูลที่เราต้องการมาไว้บน Workspace ได้เลย 2. จากนั้นเราจะดูรายละเอียดข้องข้อมูลข้อเราอย่างจำนวน Missing, Mean, Max, Min, SD, ชนิดของข้อมูล และกราฟของข้อมูลแต่ละคอลัมน์โดยการคลิกขวาที่วงกลมเล็ก ๆ ใต้ชุดข้อมูลที่เรานำมาวาง แล้วเลือก Visualize เมื่อเรามาที่หน้า Visualize เราจะเห็นข้อมูลจำนวนแถว จำนวนคอลัมน์ของเรา   รวมถึงข้อมูลในแต่ละคอลัมน์ และเมื่อเรากดไปที่แต่ละคอลัมน์จะปรากฏข้อมูลเบื้องต้นในแต่ละคอลัมน์ที่เราต้องการ อีกทั้งยังสามารถเปรียบเทียบกราฟของข้อมูลแต่ละคอลัมน์ได้อีกด้วย ดังรูป นอกจากนี้เรายงสามารถดูข้อมูลทางสถิติของชุดข้อมูลของเราได้มากกว่านี้ โดยการลาก Module ที่ชื่อว่า Summarize มาวางบน Workspace แล้วลากเส้นเชื่อมจากชุดข้อมูลของเราจากนั้นกด RUN แล้ว กด Visualize…

สร้าง Web App บน Microsoft azure

สร้าง Web App ใน Resource Group บน Microsoft Azure

Blog

App Service เป็นเครื่องมือในการสร้าง Web Application โดยที่ไม่จำเป็นต้องมี Server หรือเรียกว่า Serverless เราสามารถนำ Source Code ของ Application มา deploy และให้ App Service เป็นตัวจัดการให้ได้ทันที ไม่ว่าจะเป็น การ Auto Scale ที่จะทำการ Scale-Up หรือ Scale down ตามจำนวนผู้ใช้งานหรือตามช่วงเวลาที่กำหนด การสร้าง Deployment Slot ที่มาพร้อมกับคอนเซ็ปท์ Staging ที่ทำให้การ swap เป็น production นั้นง่ายขึ้น หรือการใช้งานร่วมกับ Database ได้อย่างสะดวก วิธีสร้าง Web App ใน Resource Group บน Microsoft Azure ล็อกอินที่ Azure portal. 2.…

วิธีการนำข้อมูลเข้า Azure ML

Blog

วิธีการนำข้อมูลเข้า Azure ML บทที่ 5 ความนี้เราจะมาพูดถึงวิธีการ Get the data จากบทความที่แล้วในกระบวนการสร้าง Machine Learning ซึ่งกระบวนการ Get the data หรือกระบวนการนำข้อมูลเข้า Azure ML นี้มีหลักอยู่ด้วยกัน 3 รูปแบบคือ การนำเข้าจากข้อมูลที่เรามีอยู่ในเครื่อง การนำเข้าจากแหล่งข้อมูลต่าง ๆ เช่น อินเทอร์เน็ต การสร้างข้อมูลขนาดเล็กด้วยตนเอง การนำเข้าข้อมูลจากเครื่อง กด NEW บริเวณแถบด้านล่างของหน้าจอระบบ กดตรง DATASET กดตรง From local File เพื่อเลือกข้อมูลที่อยู่ในเครื่องของเราเข้ามา เลือกนามสกุลไฟล์ และเลือกว่าไฟล์ที่เรานำเข้ามาต้องการให้มี header หรือชื่อคอลัมน์ไหมตามที่เราต้องการ และกดตรงเครื่องหมายถูก การนำเข้าจากแหล่งข้อมูลต่าง ๆ เช่น อินเทอร์เน็ต การนำเข้าข้อมูลจากแหล่งข้อมูลต่าง ๆ เราทำได้โดยการลาก module ที่มีชื่อว่า Import data จาก…

ขั้นตอนสร้าง Machine Learning ด้วย AzureML

Blog

บทที่ 3 เป็นขั้นตอนการสร้างแล้วครับ ตอนนี้เรามาดูหัวข้อหลักของการสร้างให้เห็นภาพรวมกันก่อนที่จะลงในรายละเอียด ขั้นตอนสร้าง Machine Learning  ด้วย AzureML Get the data คือการนำข้อมูลเราเรามาเข้าหน้า Experiments ทั้งชุดข้อมูลจากเครื่องของเราเอง ชุดข้อมูลจากแหล่งข้อมูลต่าง ๆ หรือแม้กระทั้งชุดข้อมูลเล็กที่เราสามารถสร้างเองได้จาก Module ที่มี Prepare the data คือการเตรียมข้อมูลให้อยู่ในรูปที่พร้อมจะนำไปวิเคราะห์ต่อได้ ทั้งการจัดการกับ Missing data การจัดการกับคอลัมน์ แถว การจัดการกับชนิดของข้อมูล แยกข้อมูลเพื่อเรียนรู้และทดสอบ เป็นต้น Built-in ML Algorithms คือกระบวนการที่เราสามารถเลือกโมเดลที่เราต้องการหรือโมเดลที่เหมาะสมกับชุดข้อมูลของเราเพื่อนำชุดข้อมูลของเรามา Train โดยโมเดลที่เราเลือก Train and Evaluate the model คือกระบวนการที่เรานำชุดข้อมูลของเรามา Train โดยโมเดลที่เราเลือกจากนั้นเราจะนำโมเดลที่เราได้มาทดสอบประสิทธิภาพของโมเดลของเรา โดยการสร้างโมเดลของเราในหน้า Experiments จะมีหน้าตาดังนี้ Fusion ให้บริการวิเคราห์และออกแบบระบบ Machine Learning ด้วยเครื่องมือ ของMicrosoft…

Getting to know the experiment

Blog

บทที่ 2 ในชุด Intro ML ครับ ตอนนี้เรามาเรียกรู้คำว่า Experiment ( การทดลอง ) ในการทำงานของ Machine Learning กับครับว่าเราเอามาใช้ทำอะไร ก่อนที่เราจะทำความรู้จักกับหน้าตาของ Experiment ที่เราต้องใช้ในการสร้างโมเดลของเรานะคะ เราต้องสร้าง Experiment ของเราขึ้นมาก่อน ซึ่งสามารถทำได้ง่ายๆ ดังนี้ กดที่ NEW บริเวณแถบด้านล่างของหน้า Azure ML กดที่ Experiment จากนั้นกดที่ Blank Experiment เมื่อทำการสร้าง Experiment ใหม่ของเราเรียบร้อยแล้วเราจะได้หน้าตาของ workspace ใหม่ที่เราสร้างโมเดลได้ดังนี้ และเราสามารถเปลี่ยนชื่อ Experiment ของเราได้เลย โดย workspace สามารถแบ่งได้เป็น 3 ส่วนดังนี้ Module มี Module ทั้งหมดให้เราเลือกใช้งานครอบคลุมทั้งการนำข้าข้อมูล, การจัดการกับข้อมูล anomaly detection, classification, regression,…

What is Machine Learning

Blog

What is Microsoft Azure Machine Learning (AzureML)? ในปัจจุบันนี้ข้อมูลมีการเติบโตขึ้นอย่างมหาศาลและมีการใช้ประโยชน์จากข้อมูลเหล่านี้ในทุก ๆ  ด้าน ซึ่งเครื่องมือที่ใช้ในการดึงเอาประโยชน์จากข้อมูลที่มีอยู่อย่างมหาศาลนี้ คือ Machine Learning ที่ถูกนำมาใช้ในชีวิตประจำวันของเรามากมาย เช่น Siri, Face ID, ข้อเสนอที่แฝงตัวบน YouTube, การแนะนำหนังที่น่าสนใจบน Netflix และอื่น ๆ อีกมากมาย เมื่อเรานึกถึง ML เราคงคิดว่าเราต้องเขียนโคดใช่ไหมค่ะ แต่ในปัจจุบันนี้เรามีเครื่องมือที่ชื่อว่า  Azure ML สามารถช่วยคุณให้สามารถสร้างได้โดยไม่ต้องเขียนโคดเลย เรามาทำความรู้จักกับ Microsoft Azure Machine Learning (AzureML) กันค่ะ Microsoft Azure Machine Learning (AzureML) คือเครื่องมือในการทำ Machine Learning บน Cloud Computing base สามารถใช้งานได้บน Web Browser…

ปัญหา CRM

Blog

ปัญหา CRM ที่มักพบจะไม่ได้มีปัญหาที่ CRM แต่ส่วนมากจะเป็นที่ พนักงาน เองมากกว่าโดยเฉพาะการไม่ Update ข้อมูลการขายซึ่งเป็นหัวใจของระบบพอจัดการจุดนี้ไม่ได้ระบบก็เลิกใช้ไปในที่สุด จากประสบการณ์ที่ผมใช้ CRM ในการบริหารทีมขายผมพบว่า CRM เอามาใช่ช่วยงานผมได้จริงๆ และ เป็นระบบที่ Sales ทุกคนใส่ใจ Update ข้อมูลด้วย แต่กว่าจะถึงวันที่ประสบความสำเร็จในการใช้ ผมก็เคยล้มเหลวมาก่อน จากปัญหาที่ผม เขียนในตอนต้น แต่ผมแก้ไขปัญหานั้นได้ด้วย สิ่งที่ผมเปลี่ยน 2 ประการครับ เปลี่ยนการหา Lead การหา Lead เป็นขั้นตอนที่ใช้เวลามากสุดในการทำงานทั้งหมดของ Sales และ เป็นขั้นตอนที่มีประสิทธิภาพน้อยที่สุดด้วย ดังนั้นผมจึงย้ายขบวนการหา Lead ไปให้ Marketing ทำแทนและใช้เครื่องมือสมัยใหม่แทนการโทรศัพท์ เมื่อขั้นตอนการหา Lead ย้ายออกมาให้มีเจ้าหน้าที่เฉพาะ ในการบันทึก Lead ทำให้เริ่มมีข้อมูลเข้าสู่ระบบ การตรวจสอบข้อมูลก็ทำได้ง่าย ประชุมโดยใช้ข้อมูลจาก CRM หลังจากข้อมูลเข้ามาในระบบหน้าที่การ Update ข้อมูลจะเป็หน้าที่ของ Sales ในการประชุมเราทำการประชุมเป็นประจำทุกอาทิตย์เพื่อติดตามผล…