OCI Release Notes 2025

1월 OCI AI/ML 업데이트 소식

2025년 1월 OCI AI/ML 업데이트 소식입니다.

Table of Contents

Data Science

Data Science now Supports Text Embeddings Inference (TEI) Framework

업데이트 내용

데이터 사이언스 AI 퀵 액션(Quick Actions) 기능 업데이트

  1. TEI (Text Embeddings Inference) 프레임워크 지원 데이터 사이언스 AI 퀵 액션에서 TEI (Text Embeddings Inference) 프레임워크를 지원합니다.
    BYOC(Bring Your Own Container) 방식으로 TEI를 사용할 수 있습니다:
  • 컨테이너 이미지를 OCIR(Oracle Cloud Infrastructure Registry)에 푸시
  • 추론(Inference) 컨테이너로 TEI 선택
  • 모델 등록 시 이미지 URI 지정
    1. 서비스 검증 모델 추가
  • e5-mistral-7b-instruct 모델이 서비스 검증 모델로 추가되었습니다.
  1. 환경 탐색기(Environment Explorer) 개선
    • 탭 수가 두 개로 단순화되었습니다:
    • 기본 모델(Base models)
    • 미세 조정된 모델(Fine-tuned models)
  • 기본 모델(Base models) 탭에서는 다음을 확인할 수 있습니다:
    • 서비스에서 캐시된 모델
    • 서비스 검증 모델, 등록 후 AI Quick Actions에서 사용 가능
    • 사용자가 직접 등록한 맞춤형 모델
  • 각각의 모델에는 “Ready to Deploy”(배포 준비 완료), “Ready to Register”(등록 준비 완료) 등의 태그가 포함된 모델 카드가 있어 쉽게 구분할 수 있습니다.

Data Science AI Quick Actions v 1.0.6a

업데이트 내용

데이터 사이언스 AI 퀵 액션 v1.0.6a 업데이트 사항

  1. 다중 추론 엔드포인트 지원 확대 (Expanded Multiple Inference Endpoint Support)
    • 이제 추론 플레이그라운드 (Inference Playground)에서 채팅 완성 (Chat Completion) 엔드포인트를 사용할 수 있습니다.
    • Copy payload 기능을 선택하면,
      • 모델 엔드포인트 (Model Endpoint) 정보를 확인할 수 있으며,
      • 완성 (Completion) 또는 채팅 완성 (Chat Completion) 추론 형식에 맞는 CLI 호출 코드 샘플을 얻을 수 있습니다.
  2. 모델 등록 시 특정 파일 제외 기능 추가 (Exclusion of Files During Model Registration)
    • 모델 등록 과정에서 파일 형식(File Format)에 따라 특정 파일을 제외할 수 있습니다.
    • 예를 들어, Hugging Face에서 AI 퀵 액션 (AI Quick Actions)으로 모델을 가져올 때,
      • .txt 및 .pdf 같은 특정 파일을 다운로드하지 않도록 설정할 수 있습니다.
  3. 모델 상세 페이지에서 모델 OCID 복사 기능 추가 (Addition of Copy Model OCID Feature in Model Details Page)
    • 모델 등록 후, 콘솔(Console)을 직접 이동하지 않아도,
      • 모델 상세 페이지 (Model Details Page)에서 모델 OCID를 확인하고 복사할 수 있습니다.
  4. 모델 상세 페이지 UI 변경 (Model Details Actions Button UI Changes)
    • 모델 상세 페이지의 작업 버튼 UI(User Interface)가 개선되었습니다.
  5. 툴 콜링 지원 (Tool Calling Support)
    • AI 퀵 액션 (AI Quick Actions)는 이제 툴 콜링 (Tool Calling) 기능을 지원하는 vLLM 컨테이너를 제공합니다.
    • 툴 콜링 (Tool Calling) 기능을 활용하면,
      • 모델이 추론(Inference) 과정에서 외부 함수(External Functions)를 호출할 수 있어,
      • 더 정확하고 컨텍스트(Context)에 맞는 응답을 제공할 수 있습니다.

Generative AI

Use Meta Llama 3.2 90B Vision and 11B Vision in all OCI Generative AI regions

업데이트 내용

2025년 1월 2일부터 Meta Llama 3.2 90B Vision 및 11B Vision 모델이 모든 OCI Generative AI 리전에서 사용 가능해 졌습니다.

추가 정보

Use the seed parameter in OCI Generative AI

업데이트 내용

이제 OCI 생성형 AI (OCI Generative AI)는 시드(Seed) 파라미터를
OCI 생성형 AI 플레이그라운드(Playground), CLI, API에서 지원합니다.

시드(Seed) 파라미터란?

  • 시드 파라미터를 설정하면, 모델이 가능한 한 동일한 토큰을 결정론적으로 샘플링합니다.
  • 동일한 시드 값과 동일한 요청 파라미터를 사용할 경우,
    • 모델이 일관된 결과를 반환하도록 동작합니다.

지원 모델

이 기능은 OCI 생성형 AI 서비스에서 지원하는 모든 Meta Llama 및 Cohere Command 모델에서 사용 가능합니다.

시드 파라미터 사용 방법

추가 정보

View code samples for LangChain and LlamaIndex in OCI Generative AI

업데이트 내용

이제 OCI 생성형 AI (OCI Generative AI)는 LangChain 및 LlamaIndex 코드 샘플을
OCI 생성형 AI 플레이그라운드 (OCI Generative AI Playground)에서 지원합니다.

LangChain 및 LlamaIndex 통합

OCI 생성형 AI는 대형 언어 모델(LLMs, Large Language Models)을 제공하는 플랫폼으로,
LangChain 및 LlamaIndex와의 통합(Integration)을 지원합니다.

  • 플레이그라운드에서 채팅(Chat) 또는 텍스트 임베딩(Text Embeddings)을 생성할 때,
    • OCI 생성형 AI가 LangChain 및 LlamaIndex용 코드 샘플을 자동으로 생성합니다.
    • 생성된 코드 샘플에는 사용자의 프롬프트 및 임베딩 정보가 포함됩니다.
  • 이를 활용하여 자신의 애플리케이션(Application)에서 직접 실행할 수 있습니다.

추가 정보

OCI 생성형 AI의 LangChain 및 LlamaIndex 통합에 대한 자세한 내용은 아래 문서를 참고하세요:



이 글은 개인적으로 얻은 지식과 경험을 작성한 글로 내용에 오류가 있을 수 있습니다. 또한 글 속의 의견은 개인적인 의견으로 특정 회사를 대변하지 않습니다.

RELEASE-NOTES-2025-AIML
oci-release-notes-2025 Jan-2025 AI/ML Gen AI

BACK

Dialogue & Discussion