Cloudflare Workers AI — 엣지에서 AI 모델 실행하기

Workers AI

Cloudflare의 GPU 네트워크에서 AI 모델을 서버리스로 실행합니다.

텍스트 생성

export default {
  async fetch(request, env) {
    const response = await env.AI.run("@cf/meta/llama-3.1-8b-instruct", {
      messages: [
        { role: "system", content: "한국어로 답변하세요." },
        { role: "user", content: "TypeScript의 장점 3가지" }
      ],
    });
    return Response.json(response);
  },
};

임베딩 생성

const embeddings = await env.AI.run("@cf/baai/bge-base-en-v1.5", {
  text: ["Hello world", "안녕하세요"]
});
// Vectorize와 결합하여 RAG 구축