Skip to content

Operationelle Risici ved Brugerdefinerede Agenter i Produktion #24

@janhalen

Description

@janhalen

Betydelige driftsrisici ved at tillade brugerdefinerede agenter direkte i produktionsmiljøet

Kernerisisci:

A. Ustabilitet:

Ukontrollerede og uhensigstmæssige systemprompts med rekursive kald kan forårsage komplet, systemnedbrud og fuldstændig udtømning af delte ressourcer for alle brugere.

Dette kan ske via blot en simpel prompt der kommer til at bede om en overlappende eller gentagen handling. f.eks. ved utilsigtet at bruge formuleringer som: "dobbelt-tjek" eller "formulér spørgsmålet igen"

B. Økonomi

Uregulerede parametre og lange prompts kan føre til ukontrollerede token-omkostninger og dermed uforudsigelige regninger for sprogmodels hosting.

Velmente, men unædvendige krav i systemprompten (f.eks. altid at inkludere en fuld historisk baggrund eller bruge et meget formelt/komplekst sprog) medfører unødvendigt høje input- og output-token-tællinger, hvilket kan føre til en utilsigtet eksplosion i API-omkostningerne over tid.

C. Sikkerhed:

Manglende audit og kontrol åbner for risiko for prompt Injection og dataudslip ved, at brugere bevidst eller ubevidst kan omgå sikkerhedsfiltre.

Simple prompts der ved fejl, eller ønsket om større gennemsigtighed instruerer agenten i at hente rå ufiltrerede datastumper uden om evt. centralt opsatte filtre.

D. Tab af ydeevne:

Undladelse af klart definerede tids- eller trintællerbegrænsninger på værktøjskald (som f.eks RAG-opslag eller web-søgning etc.) kan kvæle ydeevnen for alle brugere.

Når en underliggende komponent fejler eller returnerer en tvetydig besked, kan agenten fastfryse i et langt loop, før den timeouts, hvilket udhuler den samlede systemydeevne.

E. Tab af pålidelighed:

Brugere sætter fejlbehæftede eller for høje modelparametre (f.eks. for høj temperature eller max_output_tokens), ofte i et forsøg på at øge kreativiteten eller detaljegraden.

Dette kan resultere i ustabile, langsomme og hyppigt hallucinatoriske svar, hvilket ødelægger systemets pålidelighed og ydeevne.

F. Governance:

_ Manglende versionsstyring af ændringer i agenterne skader auditérbarheden. Fejlfinding bliver umulig, og man kan ikke rulle tilbage til en kendt stabil version af en agent._

Metadata

Metadata

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions