Natrag na AI agenti vodič

Oriphiel AI agenti vodič

Data i model drift monitoring

Kako prepoznati promjenu inputa, jezika, izvora, alata ili modelskog ponašanja prije nego što pad kvalitete postane poslovni incident.

Oriphiel stručni tim Ažurirano 22. 7. 2026. 3 min čitanja

Odgovor ukratko

Drift se prati po segmentima i verzijama; promjena distribucije nije sama po sebi greška, ali aktivira ciljanu evaluaciju i pregled novih slučajeva.

Ključne odluke

  • Koja obilježja inputa su stabilna
  • Koja metrika kvalitete kasni
  • Kako se razlikuje data od model drifta
  • Koji prag pokreće re-eval

Provedba korak po korak

Cilj ove lekcije je Kako prepoznati promjenu inputa, jezika, izvora, alata ili modelskog ponašanja prije nego što pad kvalitete postane poslovni incident. Korake treba provoditi redom i svaki potvrditi prije širenja opsega.

Preporučeni redoslijed

  • Spremiti agregate bez nepotrebnog PII-ja
  • Usporediti jezik, duljinu, klase i tool usage
  • Pratiti quality sample po modelu
  • Dodati nove reprezentativne slučajeve u dataset

Praktičan primjer

Rast kratkih hrvatskih opt-out poruka mijenja input distribuciju; tim dodaje uzorak u eval, provjerava false negative stopu i tek zatim mijenja prompt ili model.

Kontrolna lista prije nastavka

Ova provjera odvaja završenu implementaciju od postavke koja samo izgleda dovršeno.

Provjerite

  • Dashboard segmentira po verziji
  • Sezonalnost je uzeta u obzir
  • Alarm vodi uzorku traceova
  • Promjena provider modela je zabilježena

Najčešće pogreške i rizici

Rizike treba provjeriti prije povećanja prometa, automatizacije ili ovlasti sustava.

Na što treba paziti

  • Svaka promjena distribucije označi incident
  • Agregat skriva jedan rizičan segment
  • Drift se mjeri nad modelskim outputom bez ground trutha
  • Dataset ostane zamrznut godinu dana

Mjerenje rezultata

Učinak se procjenjuje kroz mali skup metrika koje su povezane s ciljem lekcije i stvarnim poslovnim ishodom.

Metrike koje imaju smisla

  • Input distribution shift
  • Quality delta
  • Tool usage drift
  • New-case coverage

Česta pitanja

Koji je prvi korak za temu „Data i model drift monitoring”?

Spremiti agregate bez nepotrebnog PII-ja Prije nastavka potvrdite odluku: Koja obilježja inputa su stabilna

Kako provjeriti da je provedba uspješna?

Dashboard segmentira po verziji Nakon toga pratite metriku: Input distribution shift.

Koju pogrešku treba prvo spriječiti?

Svaka promjena distribucije označi incident Problem ispravite prije automatizacije ili povećanja budžeta.

Službeni i stručni izvori

Sučelja, pravila i preporuke mogu se mijenjati. Prije produkcijske izmjene provjerite aktualnu dokumentaciju.

Povezane AI-agent lekcije

SLO i alerting za AI agenteKako definirati pouzdanost kroz task success, critical error, latency, schema pass, tool success i human escalation umjesto samog uptimea. Human feedback i quality loopKako pretvoriti ljudske korekcije u strukturirane signale, prioritete za eval dataset i poboljšanja prompta, alata ili podataka. Shadow i canary rollout AI agentaKako usporediti novu verziju bez posljedica, zatim joj dati mali kontrolirani promet i automatski rollback na signal regresije. Retrieval eval datasetKako izgraditi skup pitanja, relevantnih dokumenata, hard negative primjera i no-answer slučajeva za objektivno mjerenje RAG dohvaćanja.

Povežite ovu temu s ostatkom sustava

OpenClaw automatizacijePrimijenite agente na jasan CRM proces s vlasnikom i mjerljivim ishodom. CRM dozvole i sigurnostUskladite tools, uloge i podatkovni opseg s backend kontrolama. Strukturirani podaciPripremite strojno čitljive izlaze i sadržaj koji se može pouzdano validirati.

Primijenite lekciju na stvarni projekt

Pošaljite postojeću konfiguraciju, cilj i problem koji želite riješiti. Dobit ćete prijedlog sljedećeg tehničkog ili operativnog koraka.

Pošaljite upitPregledajte sve vodiče