Installere en annen versjon av SynapseML på Fabric

SynapseML (Synapse Machine Learning) er forhåndsinstallert på Microsoft Fabric. Hvis du trenger en spesifikk versjon, kan du overstyre den ved å bruke magikommandoen %%configure i en Fabric-notatbok.

Hurtigstart

Forutsetninger

Før du begynner, sørg for at du har følgende ressurser:

SynapseML- og Fabric-kjøretidskompatibilitet

Velg SynapseML-versjonen og Spark Avro JAR som matcher din Fabric runtime Spark-versjon:

Du kan finne tilgjengelige SynapseML-versjoner på Maven Central.

Installer SynapseML med %%configure

Kommandoen %%configure -f konfigurerer Spark-sesjonsegenskaper, inkludert Maven-pakkekoordinater. Flagget -f tvinger til å starte den eksisterende sesjonen på nytt.

Eksempel for Fabric Runtime 1.2 (Spark 3.4)

Lim inn denne koden i den første cellen i en ny Fabric-notebook og kjør cellen:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

For å installere en annen versjon, bytt ut versjonsnumrene i spark.jars.packages:

• synapseml_2.12:<version>: SynapseML-versjonen du ønsker (for eksempel 1.0.4).
• spark-avro_2.12:<spark-version>: må matche din Fabric runtime Spark-versjon (se kompatibilitetstabell).

Eksempel for Fabric Runtime 1.1 (Spark 3.3)

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Verifiser Spark-konfigurasjonen

Etter at cellen har kjørt, verifiser du at Spark-sesjonen aksepterte konfigurasjonen. Kjør denne koden i en ny celle:

print(spark.conf.get("spark.jars.packages"))

Forventet output (for Runtime 1.2-eksempelet):

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

Kontroller SynapseML-versjon

For å verifisere installasjonen, kjør følgende kode i en ny celle. Versjonsnummeret skal samsvare med versjonen du installerte.

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

Forventet output (for Runtime 1.2-eksempelet):

SynapseML version: 1.0.8

Gå tilbake til standardversjonen

For å gå tilbake til den forhåndsinstallerte SynapseML-versjonen, fjern cellen %%configure og start notatblokkens økt på nytt:

1. Slett eller kommenter ut cellen %%configure .
2. Velg Session>Stop session i notatbokens verktøylinje.
3. Kjør en hvilken som helst celle for å starte en ny økt med standardkonfigurasjonen.

Konfigurasjonsreferanse

Blokken %%configure inkluderer disse Spark-egenskapene:

Feilsøking

%%configure cellen virker ikke

Årsak: Cellen %%configure var ikke den første cellen som startet, eller en Spark-økt var allerede aktiv.

Løsning: Velg Session>Stop Session, og kjør cellen %%configure først.

JAR-nedlasting feiler eller går ut på tid

Årsak: Maven-repositoriet er utilgjengelig, eller versjonskoordinatene er feil.

Løsning: Sjekk at SynapseML-versjonen finnes på Maven Central. Sjekk at versjonen spark-avro matcher din Spark-versjon.

ClassNotFoundException eller NoSuchMethodError under kjøring

Årsak: SynapseML-versjonen er ikke kompatibel med Fabric runtime Spark-versjonen.

Løsning: Bruk kompatibilitetstabellen for å velge riktig versjonskombinasjon.

ImportError: Ingen modul kalt 'synapse.ml'

Årsak: SynapseML Python-wrapper-pakken er ikke installert i notebook-miljøet.

Fiks: I en ny celle, kjør:

%pip install synapseml==1.0.8

Bytt ut 1.0.8 med versjonen som matcher JAR-en du installerte.

Versjonsnummeret stemmer ikke med den installerte versjonen

Årsak: Python-attributtet __version__ kommer fra synapseml pip-pakken, som kan avvike fra JAR-versjonen installert av %%configure.

Løsning: Sjekk både Spark-konfigurasjonen og pip-pakkens versjon:

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

Hvis versjonene ikke stemmer, installer den matchende pip-pakken:

%pip install synapseml==1.0.8

Beslektet innhold

• Slik bruker du LightGBM med SynapseML
• Slik bruker du AI-tjenester med SynapseML
• Slik utfører du samme klassifiseringsoppgave med og uten SynapseML-
• Administrere Apache Spark-biblioteker i Fabric