เปิดตัวฟีเจอร์ใหม่ Computer Use in Copilot Studio สำหรับ UI Automation

Copilot Studio ได้เปิดตัวความสามารถใหม่ที่ปฏิวัติการทำงานอัตโนมัติด้วยแนวคิด “Computer Use” in Copilot Studio ซึ่งช่วยให้ผู้ใช้งานสามารถสร้างการทำงานอัตโนมัติบนเดสก์ท็อปได้ง่าย ๆ ผ่านคำสั่งภาษาธรรมชาติ ความสามารถใหม่นี้เป็นส่วนหนึ่งของวิสัยทัศน์ของ Microsoft ในการทำให้การทำงานอัตโนมัติเข้าถึงได้ง่ายขึ้นสำหรับทั้งธุรกิจและบุคคลทั่วไป โดยผสานการทำงานอย่างไร้รอยต่อกับ Power Platform 

Copilot Studio คืออะไร? 

Copilot Studio คือวิวัฒนาการของความสามารถด้านการทำงานอัตโนมัติใน Power Platform ของ Microsoft โดยนำเสนออินเทอร์เฟซที่ใช้งานง่าย พร้อมกับความสามารถใหม่ล่าสุดในการบันทึกและเล่นซ้ำการทำงานบนเดสก์ท็อปด้วยคำสั่งภาษาธรรมชาติ ไม่ว่าจะเป็นการติดตั้งซอฟต์แวร์ การกรอกแบบฟอร์มซ้ำ ๆ หรือการทำงานทั่วไปบนเดสก์ท็อป การอัปเดตนี้ทำให้ทุกอย่างเร็วขึ้น ฉลาดขึ้น และเข้าถึงง่ายกว่าที่เคย 

ความสามารถหลักของ Computer Use in Copilot Studio 

การประกาศฟีเจอร์และวัตถุประสงค์ 

ความสามารถ “computer use” ใหม่นี้จาก Microsoft ช่วยให้การทำงานอัตโนมัติของ UI บนเดสก์ท็อปสามารถควบคุมได้ด้วยคำสั่งภาษาธรรมชาติ ซึ่งเหมาะสำหรับทั้งผู้ใช้ทั่วไปและนักพัฒนามืออาชีพ ผู้ใช้ไม่จำเป็นต้องเขียนสคริปต์เองอีกต่อไป เพียงแค่บรรยายสิ่งที่ต้องการ—Copilot จะจัดการให้ 

ความสามารถนี้สอดคล้องกับพันธกิจของ Microsoft ที่ต้องการทำให้ระบบอัตโนมัติเข้าถึงง่าย เป็นมิตร และครอบคลุมทุกคน โดยขจัดความยุ่งยากที่เคยมีในกระบวนการทำงานอัตโนมัติและสคริปต์ UI แบบเดิม 

สิ่งที่ Computer Use in Copilot Studio ทำได้ 

• บันทึกการโต้ตอบบน UI ของเดสก์ท็อป เช่น การคลิกเมาส์ การพิมพ์ การเปิดโปรแกรม 
• แปลความหมายจากคำสั่งภาษาธรรมชาติให้กลายเป็นขั้นตอนการทำงานอัตโนมัติ 
• สร้าง Power Automate Desktop scripts โดยอัตโนมัติ 
• อนุญาตให้ผู้ใช้แก้ไขและปรับแต่งสคริปต์หลังจากที่สร้างเสร็จแล้ว 

ไม่ว่าคุณจะเปิดโปรแกรม พิมพ์ข้อมูล หรือนำทางในเมนูต่าง ๆ ความสามารถ “computer use” จะบันทึกเจตนาของคุณและสร้างสคริปต์การทำงานอัตโนมัติที่สะท้อนพฤติกรรมของคุณได้อย่างแม่นยำ 

How It Works 

1. อธิบายงานที่คุณต้องการให้ Copilot ทำ 
   เริ่มต้นด้วยการบอก Copilot ว่าคุณต้องการให้ทำอะไรเป็นภาษาธรรมดา เช่น “เปิด Excel สร้างสเปรดชีต แล้วบันทึกลงในเดสก์ท็อปของฉัน” 
2. คำแนะนำอัจฉริยะ 
   หาก Copilot ตรวจพบว่างานของคุณมีขั้นตอนที่ซับซ้อน มันจะแนะนำให้คุณบันทึกการทำงานโดยใช้เครื่องมือบันทึกจาก Computer Use 
3. การจับการโต้ตอบกับ UI 
   เครื่องมือบันทึกจะติดตามการคลิกเมาส์ การพิมพ์ และการเคลื่อนไหวของหน้าต่าง เพื่อทำความเข้าใจกระบวนการทำงานทีละขั้นตอน 
4. การสร้างและแก้ไขสคริปต์ 
   เมื่อบันทึกเสร็จ Copilot จะสร้าง Power Automate Desktop script ให้โดยอัตโนมัติ ซึ่งสามารถตรวจสอบ แก้ไข และปรับแต่งได้โดยตรงภายในแพลตฟอร์ม 
5. เรียกใช้งานและทดสอบ 
   สามารถเรียกใช้การทำงานอัตโนมัติได้ทันที และตรวจสอบผลลัพธ์ หากต้องการสามารถปรับสคริปต์เพื่อความแม่นยำที่ดียิ่งขึ้น 

ข้อควรคำนึงด้าน AI และความปลอดภัย 

Microsoft ให้ความสำคัญกับความปลอดภัยและการใช้ AI อย่างมีความรับผิดชอบ ดังนี้: 

• การทำงานอัตโนมัติจะดำเนินการเฉพาะภายในเครื่องของผู้ใช้ ข้อมูลสำคัญจึงไม่ออกนอกระบบ 
• โมเดล AI ได้รับการฝึกฝนให้เข้าใจเจตนาของผู้ใช้ พร้อมคงไว้ซึ่งการควบคุมและความโปร่งใส 
• Microsoft เน้นย้ำเรื่องความไว้วางใจและความปลอดภัย โดยเฉพาะในสถานการณ์ที่มีการใช้ AI 

ตัวอย่างกรณีใช้งาน 

Copilot Studio สำหรับการทำงานอัตโนมัติของ UI รองรับการใช้งานที่หลากหลาย เช่น: 

ไม่ว่าคุณจะเป็นนักวิเคราะห์ธุรกิจ ทีมงานฝ่ายปฏิบัติการ หรือผู้ใช้งานทั่วไปที่ต้องการประหยัดเวลา ฟีเจอร์ใหม่นี้ออกแบบมาเพื่อให้ทุกคนใช้งานได้อย่างสะดวก 

วิสัยทัศน์ของ Microsoft 

ประกาศนี้ตอกย้ำวิสัยทัศน์ของ Microsoft ในการมอบเครื่องมือการทำงานอัตโนมัติด้วย AI ให้แก่ผู้ใช้งานทั่วไป 

• ขยายการใช้งาน AI ใน Power Platform 
• ลดอุปสรรคในการเริ่มต้นใช้งานระบบอัตโนมัติ 
• สนับสนุนแนวทางการสร้างกระบวนการด้วยภาษาธรรมชาติเป็นหลัก 

การอัปเดตในอนาคตจะเน้นการเพิ่มความแม่นยำ ขยายการรับรู้บริบท และรองรับองค์ประกอบ UI ที่หลากหลายยิ่งขึ้น 

บทส่งท้าย 

Copilot Studio เป็นก้าวสำคัญของ Microsoft ในการทำให้งานอัตโนมัติไม่เพียงฉลาดขึ้น แต่ยังเรียบง่ายและเป็นมนุษย์มากขึ้น ไม่ว่าคุณจะต้องการเพิ่มประสิทธิภาพเวิร์กโฟลว์ หรือกำจัดงานเดสก์ท็อปที่น่าเบื่อ ความสามารถของ “computer use in copilot studio” จะช่วยให้คุณสร้างการทำงานอัตโนมัติที่ทรงพลังได้โดยไม่ต้องเขียนโค้ดแม้แต่บรรทัดเดียว 

หากต้องการสำรวจ “Computer Use” ใน Copilot Studio ให้ไปที่เว็บไซต์ Microsoft Copilot Studio official

Interested in Microsoft products and services? Send us a message here.

Explore our digital tools

If you are interested in implementing a knowledge management system in your organization, contact SeedKM  for more information on enterprise knowledge management systems, or explore other products such as Jarviz  for online timekeeping, OPTIMISTIC  for workforce management. HRM-Payroll, Veracity  for digital document signing, and CloudAccount  for online accounting.

Read more articles about knowledge management systems and other management tools at Fusionsol Blog, IP Phone Blog, Chat Framework Blog, and OpenAI Blog.

What is AI Hallucination?

If you want to keep up with the latest trending technology and AI news every day, check out this website . . There are new updates every day to keep up with!

• AI Systems for Enterprise Tech: Enhancing Business Intelligence at Scale

Related Articles

• How to Set Up a Custom Microsoft 365 Login Page 
• Use Microsoft Intune Data warehouse to Build Report
• Microsoft 365 Plans ราคา สุดคุ้มจาก Fusion Solution พร้อมบริการครบวงจร
• Why Microsoft 365 Plan Prices Are Different Regionally? 
• What is Cursor? Why OpenAI wanted to buy it?
• The PIVOTBY vs PivotTables in Excel: Which Should You Use?