Pętla tool-use w agencie: notatki z pierwszego production runu
Retry, idempotencja narzędzi i dlaczego streaming zmienia projekt pętli sterującej.
Przykładowa notatka techniczna — pokazuje, jak wygląda dłuższy wpis z kodem.
Minimalna pętla
while (!done) {
const step = await model.next(ctx);
if (step.tool) {
const result = await runTool(step.tool);
ctx.push(result);
} else {
done = true;
}
}
Trzy rzeczy, które ugryzły
- Idempotencja narzędzi. Retry po timeoutcie potrafi wykonać akcję dwa razy. Klucz idempotencji na poziomie narzędzia rozwiązuje problem.
- Streaming zmienia projekt. Gdy model strumieniuje, decyzję o wywołaniu narzędzia podejmujesz zanim skończy się odpowiedź — bufor i parser muszą to uwzględniać.
- Budżet kroków. Twardy limit iteracji ratuje przed nieskończoną pętlą, gdy model „zapętla się” na tym samym narzędziu.
Wniosek: pętla sterująca to nie szczegół — to serce agenta.