เปิดตัวฟีเจอร์ใหม่ Computer Use in Copilot Studio สำหรับ UI Automation

Copilot Studio ได้เปิดตัวความสามารถใหม่ที่ปฏิวัติการทำงานอัตโนมัติด้วยแนวคิด “Computer Use” in Copilot Studio ซึ่งช่วยให้ผู้ใช้งานสามารถสร้างการทำงานอัตโนมัติบนเดสก์ท็อปได้ง่าย ๆ ผ่านคำสั่งภาษาธรรมชาติ ความสามารถใหม่นี้เป็นส่วนหนึ่งของวิสัยทัศน์ของ Microsoft ในการทำให้การทำงานอัตโนมัติเข้าถึงได้ง่ายขึ้นสำหรับทั้งธุรกิจและบุคคลทั่วไป โดยผสานการทำงานอย่างไร้รอยต่อกับ Power Platform 

Copilot Studio คืออะไร? 

Copilot Studio คือวิวัฒนาการของความสามารถด้านการทำงานอัตโนมัติใน Power Platform ของ Microsoft โดยนำเสนออินเทอร์เฟซที่ใช้งานง่าย พร้อมกับความสามารถใหม่ล่าสุดในการบันทึกและเล่นซ้ำการทำงานบนเดสก์ท็อปด้วยคำสั่งภาษาธรรมชาติ ไม่ว่าจะเป็นการติดตั้งซอฟต์แวร์ การกรอกแบบฟอร์มซ้ำ ๆ หรือการทำงานทั่วไปบนเดสก์ท็อป การอัปเดตนี้ทำให้ทุกอย่างเร็วขึ้น ฉลาดขึ้น และเข้าถึงง่ายกว่าที่เคย 

ความสามารถหลักของ Computer Use in Copilot Studio 

การประกาศฟีเจอร์และวัตถุประสงค์ 

ความสามารถ “computer use” ใหม่นี้จาก Microsoft ช่วยให้การทำงานอัตโนมัติของ UI บนเดสก์ท็อปสามารถควบคุมได้ด้วยคำสั่งภาษาธรรมชาติ ซึ่งเหมาะสำหรับทั้งผู้ใช้ทั่วไปและนักพัฒนามืออาชีพ ผู้ใช้ไม่จำเป็นต้องเขียนสคริปต์เองอีกต่อไป เพียงแค่บรรยายสิ่งที่ต้องการ—Copilot จะจัดการให้ 

ความสามารถนี้สอดคล้องกับพันธกิจของ Microsoft ที่ต้องการทำให้ระบบอัตโนมัติเข้าถึงง่าย เป็นมิตร และครอบคลุมทุกคน โดยขจัดความยุ่งยากที่เคยมีในกระบวนการทำงานอัตโนมัติและสคริปต์ UI แบบเดิม 

สิ่งที่ Computer Use in Copilot Studio ทำได้ 

• บันทึกการโต้ตอบบน UI ของเดสก์ท็อป เช่น การคลิกเมาส์ การพิมพ์ การเปิดโปรแกรม 
• แปลความหมายจากคำสั่งภาษาธรรมชาติให้กลายเป็นขั้นตอนการทำงานอัตโนมัติ 
• สร้าง Power Automate Desktop scripts โดยอัตโนมัติ 
• อนุญาตให้ผู้ใช้แก้ไขและปรับแต่งสคริปต์หลังจากที่สร้างเสร็จแล้ว 

ไม่ว่าคุณจะเปิดโปรแกรม พิมพ์ข้อมูล หรือนำทางในเมนูต่าง ๆ ความสามารถ “computer use” จะบันทึกเจตนาของคุณและสร้างสคริปต์การทำงานอัตโนมัติที่สะท้อนพฤติกรรมของคุณได้อย่างแม่นยำ 

วิธีการทำงาน 

1. อธิบายงานที่คุณต้องการให้ Copilot ทำ 
   เริ่มต้นด้วยการบอก Copilot ว่าคุณต้องการให้ทำอะไรเป็นภาษาธรรมดา เช่น “เปิด Excel สร้างสเปรดชีต แล้วบันทึกลงในเดสก์ท็อปของฉัน” 
2. คำแนะนำอัจฉริยะ 
   หาก Copilot ตรวจพบว่างานของคุณมีขั้นตอนที่ซับซ้อน มันจะแนะนำให้คุณบันทึกการทำงานโดยใช้เครื่องมือบันทึกจาก Computer Use 
3. การจับการโต้ตอบกับ UI 
   เครื่องมือบันทึกจะติดตามการคลิกเมาส์ การพิมพ์ และการเคลื่อนไหวของหน้าต่าง เพื่อทำความเข้าใจกระบวนการทำงานทีละขั้นตอน 
4. การสร้างและแก้ไขสคริปต์ 
   เมื่อบันทึกเสร็จ Copilot จะสร้าง Power Automate Desktop script ให้โดยอัตโนมัติ ซึ่งสามารถตรวจสอบ แก้ไข และปรับแต่งได้โดยตรงภายในแพลตฟอร์ม 
5. เรียกใช้งานและทดสอบ 
   สามารถเรียกใช้การทำงานอัตโนมัติได้ทันที และตรวจสอบผลลัพธ์ หากต้องการสามารถปรับสคริปต์เพื่อความแม่นยำที่ดียิ่งขึ้น 

ข้อควรคำนึงด้าน AI และความปลอดภัย 

Microsoft ให้ความสำคัญกับความปลอดภัยและการใช้ AI อย่างมีความรับผิดชอบ ดังนี้: 

• การทำงานอัตโนมัติจะดำเนินการเฉพาะภายในเครื่องของผู้ใช้ ข้อมูลสำคัญจึงไม่ออกนอกระบบ 
• โมเดล AI ได้รับการฝึกฝนให้เข้าใจเจตนาของผู้ใช้ พร้อมคงไว้ซึ่งการควบคุมและความโปร่งใส 
• Microsoft เน้นย้ำเรื่องความไว้วางใจและความปลอดภัย โดยเฉพาะในสถานการณ์ที่มีการใช้ AI 

ตัวอย่างกรณีใช้งาน 

Copilot Studio สำหรับการทำงานอัตโนมัติของ UI รองรับการใช้งานที่หลากหลาย เช่น: 

ไม่ว่าคุณจะเป็นนักวิเคราะห์ธุรกิจ ทีมงานฝ่ายปฏิบัติการ หรือผู้ใช้งานทั่วไปที่ต้องการประหยัดเวลา ฟีเจอร์ใหม่นี้ออกแบบมาเพื่อให้ทุกคนใช้งานได้อย่างสะดวก 

วิสัยทัศน์ของ Microsoft 

ประกาศนี้ตอกย้ำวิสัยทัศน์ของ Microsoft ในการมอบเครื่องมือการทำงานอัตโนมัติด้วย AI ให้แก่ผู้ใช้งานทั่วไป 

• ขยายการใช้งาน AI ใน Power Platform 
• ลดอุปสรรคในการเริ่มต้นใช้งานระบบอัตโนมัติ 
• สนับสนุนแนวทางการสร้างกระบวนการด้วยภาษาธรรมชาติเป็นหลัก 

การอัปเดตในอนาคตจะเน้นการเพิ่มความแม่นยำ ขยายการรับรู้บริบท และรองรับองค์ประกอบ UI ที่หลากหลายยิ่งขึ้น 

บทส่งท้าย 

Copilot Studio เป็นก้าวสำคัญของ Microsoft ในการทำให้งานอัตโนมัติไม่เพียงฉลาดขึ้น แต่ยังเรียบง่ายและเป็นมนุษย์มากขึ้น ไม่ว่าคุณจะต้องการเพิ่มประสิทธิภาพเวิร์กโฟลว์ หรือกำจัดงานเดสก์ท็อปที่น่าเบื่อ ความสามารถของ “computer use in copilot studio” จะช่วยให้คุณสร้างการทำงานอัตโนมัติที่ทรงพลังได้โดยไม่ต้องเขียนโค้ดแม้แต่บรรทัดเดียว 

หากต้องการสำรวจ “Computer Use” ใน Copilot Studio ให้ไปที่เว็บไซต์ Microsoft Copilot Studio อย่างเป็นทางการ

สนใจผลิตภัณฑ์และบริการของ Microsoft หรือไม่ ส่งข้อความถึงเราที่นี่

สำรวจเครื่องมือดิจิทัลของเรา

หากคุณสนใจในการนำระบบจัดการความรู้มาใช้ในองค์กรของคุณ ติดต่อ SeedKM เพื่อขอข้อมูลเพิ่มเติมเกี่ยวกับระบบจัดการความรู้ภายในองค์กร หรือสำรวจผลิตภัณฑ์อื่นๆ เช่น Jarviz สำหรับการบันทึกเวลาทำงานออนไลน์, OPTIMISTIC สำหรับการจัดการบุคลากร HRM-Payroll, Veracity สำหรับการเซ็นเอกสารดิจิทัล, และ CloudAccount สำหรับการบัญชีออนไลน์

อ่านบทความเพิ่มเติมเกี่ยวกับระบบจัดการความรู้และเครื่องมือการจัดการอื่นๆ ได้ที่ Fusionsol Blog, IP Phone Blog, Chat Framework Blog, และ OpenAI Blog.

What is AI Hallucination?

ถ้าอยากติดตามข่าวเทคโนโลยีและข่าว AI ที่กำลังเป็นกระแสทุกวัน ลองเข้าไปดูที่ เว็บไซต์นี้ มีอัปเดตใหม่ๆ ให้ตามทุกวันเลย!

• AI Systems for Enterprise Tech: Enhancing Business Intelligence at Scale

Related Articles

• How to Set Up a Custom Microsoft 365 Login Page 
• Use Microsoft Intune Data warehouse to Build Report
• Microsoft 365 Plans ราคา สุดคุ้มจาก Fusion Solution พร้อมบริการครบวงจร
• Why Microsoft 365 Plan Prices Are Different Regionally? 
• What is Cursor? Why OpenAI wanted to buy it?
• The PIVOTBY vs PivotTables in Excel: Which Should You Use?