← all notes
AI / LLM 1 min

Pętla tool-use w agencie: notatki z pierwszego production runu

Retry, idempotencja narzędzi i dlaczego streaming zmienia projekt pętli sterującej.

Przykładowa notatka techniczna — pokazuje, jak wygląda dłuższy wpis z kodem.

Minimalna pętla

while (!done) {
  const step = await model.next(ctx);
  if (step.tool) {
    const result = await runTool(step.tool);
    ctx.push(result);
  } else {
    done = true;
  }
}

Trzy rzeczy, które ugryzły

  1. Idempotencja narzędzi. Retry po timeoutcie potrafi wykonać akcję dwa razy. Klucz idempotencji na poziomie narzędzia rozwiązuje problem.
  2. Streaming zmienia projekt. Gdy model strumieniuje, decyzję o wywołaniu narzędzia podejmujesz zanim skończy się odpowiedź — bufor i parser muszą to uwzględniać.
  3. Budżet kroków. Twardy limit iteracji ratuje przed nieskończoną pętlą, gdy model „zapętla się” na tym samym narzędziu.

Wniosek: pętla sterująca to nie szczegół — to serce agenta.