Server sanntidsprognoser med ML-modellendepunkter (forhåndsvisning)

Important

Denne funksjonen er i forhåndsvisning.

Microsoft Fabric lar deg levere sanntidsprediksjoner fra ML-modeller ved å bruke sikre, skalerbare og brukervennlige nettbaserte endepunkter. De fleste Fabric-modeller inkluderer disse endepunktene som innebygde egenskaper, og de krever ingen oppsett for å starte fullt administrerte sanntidsdistribusjoner.

Du kan aktivere, konfigurere og spørre modellendepunkter ved å bruke et offentlig REST-API. Du kan også starte direkte fra Fabric-grensesnittet ved å bruke en low-code-opplevelse for å aktivere modellendepunkter og forhåndsvise prediksjoner umiddelbart.

Skjermbilde som viser en ML-modell i Fabric med en innebygd endepunktegenskap for å levere sanntidsprediksjoner.

Prerequisites

  • Leietakeren din har maskinlæringsmodellendepunkter aktivert som standard. Hvis administratoren din ønsker å deaktivere denne funksjonen, kan de slå av tenant-switchen for ML-modellendepunkter i Fabric admin-portalen.

Limitations

  • Endepunkter er for øyeblikket tilgjengelige for et begrenset sett med ML-modellsmaker, inkludert Keras, LightGBM, Sklearn og XGBoost.
  • Endepunkter er for øyeblikket ikke tilgjengelige for modeller med tensorbaserte skjemaer eller ingen skjemaer.

Note

Maskinlæringsendepunkter støtter AutoML-trente modeller.

Komme i gang med modellendepunkter

ML-modeller i Fabric leveres ferdigbygde med nettbaserte endepunkter som du kan bruke til å levere sanntidsprediksjoner. Hver registrert modellversjon har en dedikert endepunkts-URL, som du finner under overskriften Endepunktsdetaljer i Fabric-grensesnittet. Denne URL-en avsluttes med en delsti som angir den spesifikke versjonen (for eksempel /versions/1/score).

Skjermbilde som viser egenskapene til et ML-modellendepunkt, som kan brukes til å tjene prognoser i sanntid.

Modellendepunkter har følgende egenskaper:

Property Description Default
Standard versjon Denne egenskapen (Yes eller No) indikerer om versjonen er satt som modellens standard for å levere reelle prediksjoner. Du kan tilpasse standardversjonen i modellens innstillinger. No
Status Denne egenskapen angir om endepunktet er klart til å betjene prognoser. Statusen kan være Inactive, Activating, Active, Deactivatingeller Failed. Bare aktive endepunkter kan tjene prognoser. Inactive
Automatisk hvilemodus Denne egenskapen (On eller Off) angir om endepunktet, når det er aktivt, skal skalere ned kapasitetsbruken til null i fravær av trafikk. Hvis autosleep er på, går endepunktet inn i en inaktiv tilstand etter fem minutter uten innkommende forespørsler. Det første kallet for å vekke et inaktivt endepunkt innebærer en kort forsinkelse. On

Aktivere modellendepunkter

Du kan aktivere modellendepunkter direkte fra Fabric-grensesnittet. Gå til versjonen du vil bruke for sanntidsprediksjoner og velg Aktiver versjonsendepunkt fra båndet.

Skjermbilde som viser hvordan man aktiverer et ML-modellendepunkt fra Fabric-grensesnittet.

En toast-melding viser at Fabric gjør endepunktet klart til å levere prediksjoner, og statusen til endepunktet endres til Activating. Bak kulissene starter Fabric den underliggende containerinfrastrukturen for å hoste modellen din. I løpet av noen få minutter er endepunktet klart til å tjene prognoser.

Skjermbilde som viser et endepunkt for ML-modell som nå aktiveres.

Hvert endepunkt har en status som indikerer om det er klart til å levere sanntidsprediksjoner:

Status Description
Inactive Endepunktet er ikke aktivert for å levere sanntidsprediksjoner, og det bruker ikke Fabric-kapasitet.
Activating Endepunktet konfigureres til å tjene prognoser i sanntid. Bak kulissene setter Fabric opp den underliggende containerinfrastrukturen for å hoste modellen. I løpet av noen få minutter er endepunktet aktivt.
Active Endepunktet er klart til å tjene sanntidsprognoser. Bak kulissene administrerer Fabric den underliggende infrastrukturen, og skalerer opp ressursbruken basert på innkommende trafikk. Høyere trafikk resulterer i høyere bruk av Fabric-kapasitet.
Deactivating Endepunktet deaktiveres, så det leverer ikke lenger sanntidsprediksjoner eller bruker Fabric-kapasitet. Bak kulissene demonterer Fabric den underliggende containerinfrastrukturen.

Note

ML-modeller kan støtte aktive endepunkter for opptil fem versjoner samtidig. Hvis du vil betjene prognoser fra en sjette versjon, må du først deaktivere et aktivt endepunkt.

Behandle modellendepunkter

For å få en oversikt over modellens aktive endepunkter, velg Administrer endepunkter fra båndet i grensesnittet. Hver modell har et tilpassbart standard endepunkt, som serverer prognoser fra en versjon du velger. Du kan oppdatere standardversjonen ved å bruke nedtrekksmenyen i innstillingspanelet.

Skjermbilde som viser standard URL-adresse for ML-modellendepunkt, som du kan konfigurere til å betjene prognoser fra en bestemt versjon.

Important

Sett standardegenskapen til en aktiv versjon hvis du planlegger å bruke den. Hvis du ikke setter standardegenskapen, eller hvis du setter den til en inaktiv versjon, feiler kall til standardendepunktet.

Modellens endepunktinnstillinger viser alle versjoner med aktive endepunkter. Du kan endre auto-sleep-egenskapen for hvert endepunkt ved å slå switcheren til På eller Av.

Skjermbilde som viser hvordan du endrer egenskapen for automatisk hvilemodus på ML-modellendepunkter.

Tip

Aktive endepunkter med automatisk hvile aktivert går inn i en inaktiv tilstand etter fem minutter uten trafikk. Det første ropet for å vekke dem innebærer en kort forsinkelse. Du bør kanskje slå av denne egenskapen for endepunkter i produksjon.

Spørringsmodellendepunkter for sanntidsprognoser

Du kan teste modellendepunkter umiddelbart ved å bruke low-code-opplevelsen i Fabric. Gå til en versjon med et aktivt endepunkt og velg Forhåndsvisningsprediksjoner fra båndet i grensesnittet. Du kan sende prøveforespørsler til endepunktet og få prøveprediksjoner i sanntid ved å bruke skjemafelt som matcher modellens inndatasignatur.

Skjermbilde som viser den innebygde forhåndsvisningsopplevelsen for å få eksempelprognoser fra et aktivt ML-modellendepunkt.

Velg Autofyll for å fylle ut skjemafeltene med tilfeldige utvalgsverdier. Du kan legge til flere sett med formverdier for å teste endepunktet med flere input. Velg Hent prediksjoner for å sende endepunktet din eksempelforespørsel.

Skjermbilde som viser den skjemabaserte visningen for å sende eksempelforespørsler til et aktivt ML-modellendepunkt.

Hvis du foretrekker å formatere eksempelforespørsler som JSON-nyttelaster, kan du bruke rullegardinvelgeren til å endre visningen.

Skjermbilde som viser den JSON-baserte visningen for å sende eksempelforespørsler til et aktivt ML-modellendepunkt.

Deaktivere modellendepunkter

Du kan deaktivere modellendepunkter direkte fra Fabric-grensesnittet. Gå til en versjon du ikke lenger trenger for å levere sanntidsprediksjoner, og velg Deaktiver versjonsendepunkt fra båndet i grensesnittet.

Skjermbilde som viser hvordan man deaktiverer et ML-modellendepunkt fra Fabric-grensesnittet.

En toast-melding viser at Fabric demonterer din aktive distribusjon, og statusen til endepunktet endres til Deactivating. Endepunktet kan ikke levere sanntidsprediksjoner med mindre du aktiverer det på nytt.

Skjermbilde som viser et endepunkt for ML-modell som nå deaktiveres.

Du kan deaktivere endepunkter for flere versjoner samtidig fra modellens innstillingspanel. Velg Administrer endepunkter fra båndet i grensesnittet og velg ett eller flere aktive endepunkter å deaktivere.

Skjermbilde som viser hvordan man deaktiverer flere ML-modellendepunkter samtidig fra Fabric-grensesnittet.

Forbrukssats

Å hoste aktive modellendepunkter bruker Fabric Capacity Units (CUs). Endepunkter kjører på databehandlingsnoder og kan automatisk skalere opptil tre noder basert på innkommende trafikk. Fakturering beregnes per node mens et endepunkt er aktivt. Tabellen nedenfor viser CU-forbruket for et aktivt ML-modell-endepunkt.

Operasjon operasjonsenhet forbrukssats
Modellendepunkt 1 modellendepunkt (versjon) per sekund per node 5 CU sekunder

Tabellen nedenfor viser eksempelscenarier og deres tilsvarende forbrukssatser og timekostnader.

scenario Description forbrukssats Timekostnad
Modeller med inaktive endepunkter Disse modellene har ingen aktive versjonsendepunkter og ingen tilknyttet ressursutnyttelse. De innebærer ingen ekstra kostnader. 0 CU sekunder 0 CU time
Modeller med aktive, men inaktive endepunkter Disse modellene har ett eller flere aktive versjonsendepunkter, men uten regelmessig trafikk skalerer alle endepunkter til null, noe som automatisk reduserer kostnadene. 5 CU sekunder 0.42 CU timer
Modeller med 1 aktivt endepunkt og konstant lav trafikk Disse modellene har bare 1 aktivt versjonsendepunkt som betjener prediksjoner, men uten nok trafikk til å utløse en fullstendig utskalering. Én node kan betjene all trafikken. Andre versjonsendepunkter kan være inaktive eller inaktive. 5 CU sekunder 5 CU timer
Modeller med 1 aktivt endepunkt og konstant høy trafikk Disse modellene har kun én aktiv versjon av endepunktserveringsprediksjoner, med nok trafikk til å utløse en full skalering. Andre versjonsendepunkter kan være inaktive eller inaktive. 15 CU sekunder 15 CU timer
Modeller med 5 aktive endepunkter og konstant høy trafikk Disse modellene har 5 aktive versjonsendepunkter (gjeldende grense) som betjener prediksjoner, hver med nok trafikk til å utløse en fullstendig utskalering. 75 CU sekunder 75 CU timer

Fabric Capacity Metrics-appen viser total kapasitetsbruk for modellendepunktoperasjoner under navnet "Model Endpoint". I tillegg kan brukere se en oppsummering av sine faktureringskostnader for bruk av Model Endpoint under faktureringspunktet "ML Model Endpoint Capacity Usage CU".

Operasjon for modellendepunkt klassifiseres som bakgrunnsoperasjoner.

Forbrukssatser kan endres når som helst. Microsoft bruker rimelige anstrengelser for å gi varsel via e-post eller via varsling i produktet. Endringene trer i kraft på datoen som er oppgitt i Microsoft Release Notes eller Microsoft Fabric Blog. Hvis en endring i modellens endepunkt i Fabric Consumption Rate betydelig øker kapasitetsenhetene (CU) som kreves for å brukes, kan kundene bruke kanselleringsalternativene som er tilgjengelige for den valgte betalingsmetoden.

Relatert innhold

  • Last updated on