Foundry Local คืออะไร

Foundry Local คือโซลูชัน AI แบบประมวลผลภายในเครื่อง (On-device AI inference) ที่ออกแบบมาเพื่อให้คุณสามารถใช้งานโมเดลภาษาขนาดใหญ่ (LLM) และความสามารถของ AI ได้โดยตรงจากสภาพแวดล้อมในเครื่องของคุณ โดยไม่ต้องพึ่งพาคลาวด์ มอบประสิทธิภาพสูง ความเป็นส่วนตัวของข้อมูล ความสามารถในการปรับแต่งโมเดล และลดต้นทุนการดำเนินงาน เหมาะสำหรับนักพัฒนา องค์กร และผู้ที่สนใจเทคโนโลยี AI

คุณสมบัติเด่น

- การอนุมานบนอุปกรณ์: รันโมเดลในเครื่องบนฮาร์ดแวร์ของคุณเอง ลดต้นทุนพร้อมเก็บข้อมูลทั้งหมดไว้ในอุปกรณ์
- การปรับแต่งโมเดล: เลือกจากโมเดลที่ตั้งไว้ล่วงหน้าหรือใช้โมเดลของคุณเองเพื่อตอบสนองความต้องการและกรณีการใช้งานเฉพาะ
- ประหยัดต้นทุน: ลดค่าใช้จ่ายบริการคลาวด์ที่เกิดขึ้นซ้ำๆ ด้วยการใช้ฮาร์ดแวร์ที่มีอยู่ ทำให้เข้าถึง AI ได้ง่ายขึ้น
- การผสานรวมที่ราบรื่น: เชื่อมต่อกับแอปพลิเคชันของคุณผ่าน SDK, API endpoint หรือ CLI พร้อมปรับขนาดไปยัง Azure AI Foundry ได้อย่างง่ายดายตามความต้องการที่เพิ่มขึ้น

กรณีการใช้งาน

1. คุณต้องการเก็บรักษาข้อมูลสำคัญไว้ในอุปกรณ์ของคุณ
2. คุณต้องการทำงานในสภาพแวดล้อมที่มีการเชื่อมต่ออินเทอร์เน็ตจำกัดหรือไม่มีเลย
3. คุณต้องการลดต้นทุนการอนุมานบนคลาวด์
4. คุณต้องการการตอบสนอง AI ที่มีความหน่วงต่ำสำหรับแอปพลิเคชันแบบเรียลไทม์
5. คุณต้องการทดลองกับโมเดล AI ก่อนที่จะปรับใช้บนสภาพแวดล้อมคลาวด์

เริ่มต้นใช้งาน Foundry Local

1. ติดตั้ง Foundry Local

- Windows: เปิดหน้าต่างเทอร์มินัลและรันคำสั่งต่อไปนี้:

winget install Microsoft.FoundryLocal

- macOS: เปิดหน้าต่างเทอร์มินัลและรันคำสั่งต่อไปนี้:

brew tap microsoft/foundrylocal

brew install foundrylocal

2. รันโมเดลแรกของคุณ

- เปิดหน้าต่างเทอร์มินัลแล้วรันคำสั่งต่อไปนี้เพื่อเรียกใช้งานโมเดล:

foundry model run phi-3.5-mini

- ระบบจะดาวน์โหลดโมเดล ซึ่งอาจใช้เวลาสองสามนาที ขึ้นอยู่กับความเร็วอินเทอร์เน็ตของคุณ และจากนั้นโมเดลจะเริ่มทำงานเมื่อโมเดลพร้อมแล้ว คุณสามารถโต้ตอบกับโมเดลผ่าน CLI (Command Line Interface) ได้ เช่น พิมพ์ว่า:

“What model of gpt is this?”

- คุณจะเห็นคำตอบจากโมเดลปรากฏในหน้าต่างเทอร์มินัล

3. ตรวจสอบทุกรุ่น

- หากโมเดลที่ใช้งานไม่สามารถทำงานร่วมกับ GPU ของคุณได้ ให้ตรวจสอบรายการโมเดลที่สามารถใช้งานร่วมกับฮาร์ดแวร์ของคุณได้ด้วยคำสั่ง:

foundry model ls

4. รุ่นทางเลือก

บางครั้งมีปัญหาเกี่ยวกับ GPU และคุณสามารถใช้โมเดลที่ใช้ CPU หรือ NPU แทนได้:

1. ดาวน์โหลดโมเดลที่รองรับด้วยคำสั่ง:

foundry model download <ชื่อโมเดล>

2. โหลดโมเดลเข้าสู่แคชภายในเครื่องด้วยคำสั่ง:

foundry model load <ชื่อโมเดลที่ดาวน์โหลด>

3. เรียกใช้งานโมเดลด้วยคำสั่ง:

foundry model run <ชื่อโมเดลที่โหลดไว้>

สำรวจคำสั่งใช้งาน

Foundry CLI แบ่งคำสั่งหลักออกเป็นหมวดหมู่ดังต่อไปนี้:

- Model: คำสั่งสำหรับจัดการและเรียกใช้งานโมเดล
- Service: คำสั่งสำหรับจัดการบริการ Foundry Local
- Cache: คำสั่งสำหรับจัดการแคชของโมเดลในเครื่อง (โมเดลที่ดาวน์โหลดไว้ในดิสก์ภายใน)

ดูคำสั่งทั้งหมดที่มีได้ด้วยคำสั่ง:

foundry –help

หากต้องการดูคำสั่งเฉพาะเกี่ยวกับโมเดล ให้ใช้คำสั่ง:

foundry model –help

หากต้องการดูคำสั่งเกี่ยวกับการจัดการบริการ ให้ใช้คำสั่ง:

foundry service –help

หากต้องการดูคำสั่งเกี่ยวกับการจัดการแคช ให้ใช้คำสั่ง:

foundry cache –help

การอัปเกรด Foundry Local

หากต้องการอัปเกรด Foundry Local ให้เป็นเวอร์ชันล่าสุด ให้ใช้คำสั่งต่อไปนี้ตามระบบปฏิบัติการของคุณ:

1. Windows: เปิดหน้าต่างเทอร์มินัล แล้วรันคำสั่ง:

winget upgrade –id Microsoft.FoundryLocal

1. macOS: เปิดหน้าต่างเทอร์มินัล แล้วรันคำสั่ง:

brew upgrade foundrylocal

การถอนการติดตั้ง Foundry Local

หากคุณต้องการถอนการติดตั้ง Foundry Local ให้ใช้คำสั่งตามระบบปฏิบัติการของคุณดังนี้:

- Windows: เปิดหน้าต่างเทอร์มินัล แล้วรันคำสั่ง:

winget uninstall Microsoft.FoundryLocal”

- macOS: เปิดหน้าต่างเทอร์มินัล แล้วรันคำสั่ง:

brew rm foundrylocal

brew untap microsoft/foundrylocal

brew cleanup –scrub

ขั้นตอนถัดไป

เชื่อมต่อ SDK สำหรับการประมวลผล (Inferencing SDKs) เข้ากับ Foundry Local

ติดตั้งแพ็กเกจของ Node.js

คุณจำเป็นต้องติดตั้งแพ็กเกจ Node.js ต่อไปนี้ในเครื่องมือพัฒนา (IDE) เช่น Visual Studio Code:

npm install openai

npm install foundry-local-sdk

ใช้งาน OpenAI SDK ร่วมกับ Foundry Local

ให้คัดลอกและวางโค้ดต่อไปนี้ลงในไฟล์ JavaScript ที่ชื่อว่า app.js:

JavaScript

import { OpenAI } from "openai";
import { FoundryLocalManager } from "foundry-local-sdk";

// By using an alias, the most suitable model will be downloaded 
// to your end-user's device.
// TIP: You can find a list of available models by running the 
// following command in your terminal: `foundry model list`.
const alias = "phi-3.5-mini";

// Create a FoundryLocalManager instance. This will start the Foundry 
// Local service if it is not already running.
const foundryLocalManager = new FoundryLocalManager()

// Initialize the manager with a model. This will download the model 
// if it is not already present on the user's device.
const modelInfo = await foundryLocalManager.init(alias)
console.log("Model Info:", modelInfo)

const openai = new OpenAI({
  baseURL: foundryLocalManager.endpoint,
  apiKey: foundryLocalManager.apiKey,
});

async function generateText() {
  const response = await openai.chat.completions.create({
    model: modelInfo.id,
    messages: [
      {
        role: "user",
        content: "What is Azure AI Founry Local?",
      },
    ],
  });

  console.log(response.choices[0].message.content);
}

generateText();

จากนั้นให้รันไฟล์ app.js ผ่านทาง Terminal

บางครั้งอาจเกิดข้อผิดพลาดลักษณะนี้ขึ้น: “Cannot use import statement outside a module.”

คุณสามารถแก้ปัญหานี้ได้ 2 วิธี:

1. เปลี่ยนชื่อไฟล์ js เป็น app.mjs
2. ในไฟล์ package.json ให้เพิ่มบรรทัดนี้เข้าไป:

“type”: ”module”

วิธีเหล่านี้จะช่วยแก้ข้อผิดพลาดดังกล่าวได้
หากคุณพบปัญหาอื่น ๆ หรือต้องการความช่วยเหลือเพิ่มเติม กรุณา ติดต่อเรา เพื่อให้คำแนะนำในการแก้ไขปัญหา หลังจากแก้ไขแล้ว คุณจะเห็นเทอร์มินัลขณะที่คุณพิมพ์คำเตือนตามนี้