Ausführen der Batch-Interferenz mit Ray auf AKS

In diesem Artikel führen Sie einen RayJob aus, der die vLLM-Offline-Batchinferenz mithilfe des LoRA-Adapters ausführt, der durch das LLM-Trainingsbeispiel erzeugt wurde. Der Job liest den Viggo-Test-Split und den LoRA-Adapter aus Azure Blob Storage, erstellt Vorhersagen auf einer einzelnen GPU und lädt die Ergebnisse hoch.

Voraussetzungen

• Infrastruktur, die gemäß Infrastruktur für Ray und Kueue auf AKS bereitstellen bereitgestellt wurde.
• Kueue-Warteschlangen, die gemäß Konfigurieren von Kueue-Warteschlangen für Ray-Workloads auf AKS konfiguriert wurden.
• Mindestens eine A100-GPU im Cluster verfügbar.
• LLM-Training nach Durchführen des Trainings eines LLM mit Ray auf AKS – der LoRA-Adapter muss unter llm-pipeline/lora/ in Blob Storage vorhanden sein.
• envsubst installiert (gettext Paket unter Linux, brew install gettext unter macOS).

Festlegen von Umgebungsvariablen

Navigieren Sie zum Batch-Ableitungsbeispiel im geklonten Repository, und konfigurieren Sie die erforderlichen Umgebungsvariablen:

cd <path-to-cloned-repo>/AKS/examples/kueue-and-ray-on-aks/3-workloads/batch-inference
export AZURE_STORAGE_ACCOUNT_NAME=$(terraform -chdir=../../1-infrastructure/terraform output -raw storage_account_name)
source env.example

Workload übermitteln

Batch-Ableitung RayJob übermitteln:

./submit.sh

Das Skript erstellt eine ConfigMap aus dem Ableitungsskript, rendert die Manifestvorlage über envsubstund wendet sie an. Kueue lässt den Einzelvorgang zu, wenn 1 GPU in der konfigurierten Warteschlange verfügbar ist.

Fortschritt überwachen

Suchen und exportieren Sie den Auftragsnamen, wenn Sie sich in einer neuen Shell befinden:

export JOB_NAME=$(kubectl -n ray get rayjob --no-headers -o custom-columns=":metadata.name" | grep batch-inference)

Überwachen Sie den RayJob-Status und die Kueue-Zulassung:

kubectl -n ray get rayjob ${JOB_NAME} -w
kubectl -n ray get workload -w

Erwartete Ausgabe, wenn der Einzelvorgang abgeschlossen ist:

NAME                         JOB STATUS   DEPLOYMENT STATUS   START TIME             END TIME               AGE
batch-inference-xxxxxxxxxx   SUCCEEDED    Complete            2026-01-01T00:00:00Z   2026-01-01T00:09:00Z   9m

NAME                                      QUEUE     RESERVED IN     ADMITTED   FINISHED   AGE
rayjob-batch-inference-xxxxxxxxxx-xxxxx   default   cluster-queue   True       True       9m

Arbeitsprotokolle verfolgen:

kubectl -n ray logs -l ray.io/cluster=$(kubectl -n ray get rayjob ${JOB_NAME} -o jsonpath='{.status.rayClusterName}') -f --tail=100

Überprüfen der Ergebnisse

Vorhersagedateien in Blob Storage auflisten:

az storage blob list -c llm-pipeline --prefix "inference/${JOB_NAME}/" \
  --account-name ${AZURE_STORAGE_ACCOUNT_NAME} --auth-mode login -o table

Erwartete Ausgabe:

Name                                                 Blob Type    Blob Tier    Length    Content Type
---------------------------------------------------  -----------  -----------  --------  ------------------------
inference/<job-name>/metrics.json                    BlockBlob    Hot          128       application/octet-stream
inference/<job-name>/predictions.jsonl               BlockBlob    Hot          411777    application/octet-stream

Laden Sie die Vorhersagen herunter, und überprüfen Sie sie:

az storage blob download -c llm-pipeline \
  -n "inference/${JOB_NAME}/predictions.jsonl" \
  --account-name ${AZURE_STORAGE_ACCOUNT_NAME} --auth-mode login \
  --file /tmp/predictions.jsonl
head -1 /tmp/predictions.jsonl | python3 -m json.tool

Erwartete Ausgabe:

{
    "input": "I'm wondering, have you played any games you found genuinely shocking?",
    "expected": "request(specifier[shocking])",
    "generated": "request_explanation"
}

Konfigurationsreferenz

Bereinigen von Ressourcen

Löschen Sie den RayJob und dessen ConfigMap:

kubectl -n ray delete rayjob ${JOB_NAME}
kubectl -n ray delete configmap ${CONFIGMAP_NAME}

Um die gesamte Infrastruktur abzubauen, siehe Infrastruktur bereitstellen – Ressourcen bereinigen.

Nächste Schritte

• Bereitstellen einer Anwendung, die OpenAI verwendet, in AKS
• Erstellen und Bereitstellen von Daten- und Machine Learning-Pipelines mit Flyte in AKS
• Optimieren eines KI-Modells auf AKS mit dem KI-Toolchain-Betreiber