Natrag na AI agenti vodič

Oriphiel AI agenti vodič

Golden dataset i scenario evals

Kako testirati cijeli agentic workflow kroz reprezentativne inpute, očekivane odluke, dopuštene putanje alata i rubne slučajeve.

Oriphiel stručni tim Ažurirano 22. 7. 2026. 3 min čitanja

Odgovor ukratko

Golden dataset treba sadržavati poslovno kritične i neugodne slučajeve, a očekivanje može biti točan output, invariant ili dopušten skup putanja.

Ključne odluke

  • Koji scenario predstavlja stvarni rizik
  • Je li očekivanje determinističko
  • Koji tool call je obavezan ili zabranjen
  • Kako se rezultat ručno presuđuje

Provedba korak po korak

Cilj ove lekcije je Kako testirati cijeli agentic workflow kroz reprezentativne inpute, očekivane odluke, dopuštene putanje alata i rubne slučajeve. Korake treba provoditi redom i svaki potvrditi prije širenja opsega.

Preporučeni redoslijed

  • Prikupiti anonimizirane produkcijske slučajeve
  • Dodati happy, edge i adversarial primjere
  • Definirati invariants i rubric
  • Pokretati usporedbu po promptu i modelu

Praktičan primjer

Testni opt-out na hrvatskom, typo u emailu, konfliktni CRM status i timeout alata provjeravaju odluku, putanju i zabranu neželjenih write akcija.

Kontrolna lista prije nastavka

Ova provjera odvaja završenu implementaciju od postavke koja samo izgleda dovršeno.

Provjerite

  • Opt-out nikada ne ide u send alat
  • Nedostajući podatak vodi eskalaciji
  • Eval ima verziju
  • Promjena tool sheme pokreće regression suite

Najčešće pogreške i rizici

Rizike treba provjeriti prije povećanja prometa, automatizacije ili ovlasti sustava.

Na što treba paziti

  • Testovi samo provjeravaju lijep tekst
  • Golden output je previše krut za otvoreni zadatak
  • Dataset curi u prompt primjere
  • Neuspjeh nema vlasnika

Mjerenje rezultata

Učinak se procjenjuje kroz mali skup metrika koje su povezane s ciljem lekcije i stvarnim poslovnim ishodom.

Metrike koje imaju smisla

  • Scenario pass rate
  • Critical invariant failures
  • Regression count
  • Coverage po riziku

Česta pitanja

Koji je prvi korak za temu „Golden dataset i scenario evals”?

Prikupiti anonimizirane produkcijske slučajeve Prije nastavka potvrdite odluku: Koji scenario predstavlja stvarni rizik

Kako provjeriti da je provedba uspješna?

Opt-out nikada ne ide u send alat Nakon toga pratite metriku: Scenario pass rate.

Koju pogrešku treba prvo spriječiti?

Testovi samo provjeravaju lijep tekst Problem ispravite prije automatizacije ili povećanja budžeta.

Službeni i stručni izvori

Sučelja, pravila i preporuke mogu se mijenjati. Prije produkcijske izmjene provjerite aktualnu dokumentaciju.

Povezane AI-agent lekcije

Evaluacija agentic workflowaKako mjeriti kvalitetu AI agenata: zlatni skup primjera, rubni slučajevi, tool accuracy, trajectory eval i ljudska ocjena. Model grader i ljudska evaluacijaKako kombinirati determinističke provjere, modelskog ocjenjivača i stručni ljudski pregled bez kružnog potvrđivanja modelskih pogrešaka. Shadow i canary rollout AI agentaKako usporediti novu verziju bez posljedica, zatim joj dati mali kontrolirani promet i automatski rollback na signal regresije. Retrieval eval datasetKako izgraditi skup pitanja, relevantnih dokumenata, hard negative primjera i no-answer slučajeva za objektivno mjerenje RAG dohvaćanja.

Povežite ovu temu s ostatkom sustava

OpenClaw automatizacijePrimijenite agente na jasan CRM proces s vlasnikom i mjerljivim ishodom. CRM dozvole i sigurnostUskladite tools, uloge i podatkovni opseg s backend kontrolama. Strukturirani podaciPripremite strojno čitljive izlaze i sadržaj koji se može pouzdano validirati.

Primijenite lekciju na stvarni projekt

Pošaljite postojeću konfiguraciju, cilj i problem koji želite riješiti. Dobit ćete prijedlog sljedećeg tehničkog ili operativnog koraka.

Pošaljite upitPregledajte sve vodiče