OS2ai Mistral modellen "stopper" med at svare

[nikolajkolte]

Beklager hvis min fejlmedling ikke er helt efter standard eller andre konventioner. Jeg opretter den efter aftale med Signe Marie Skovby Ahm på vegne af Holstebro Kommune
Nikolaj Kolte
Chef for IT og Digitalisering

Telefon 9611 7341 • Mobil 2325 0767
nikolaj.kolte@holstebro.dk

I standard opsætningen af Aarhus AI - Mistralmodellen oplever vi at den stopper midt i et svar.
Jeg tager en tilfældig artikel fra avisen Politiken og beder den læse korrektur. Den stopper midt i svaret. Det virker helt forkert.
Vi har standard opsætning af Open WebUI og ellers ikke lavet noget.
Vi hostes hos Computerome.

Se vedhæftede filer der er "prompt" og "svar"

Kolding kommune

svar-Mistral.txt

prompt.txt

har nøjagtig samme oplevelse!

Hvis behov kan der oprettes login i vores - Holstebros platform - så I kan teste

[DanielSeegert]

Vi har i Kolding også oplevet problemet med Mistral modellen - men det er blot blevet endnu mere tydeligt nu hvor vi er gået over til GPT-oss-120b.

Eksempler på et par prompts med output hvor at den stopper i sit svar:

chat-fejl_mistral_International_madplan.txt

Derudover skal jeg også tilføje at når problemet sker prøver man selvfølgelig at trykke på knappen (fortsæt) under outputtet, men denne fortsæt-knap virker heller ikke altid. Der kommer disse fejlmeldinger:

[SigneA-hm]

@lilosti er dette et kendt problem i AarhusAI?
@ath88 kan du se om det er et lokalt problem i instansen hos hhv Kolding og Holstebro?

[cableman]

I known what the error is... it is the guardrail that do not take into account the special message order required when using tools and the small context window.

Fix on the way...

[cableman]

@DanielSeegert kan se på jeres konfigration at i har limit jeres GPT model til et context vindue på 8192, hvilket er det samme som den lille mistral model (https://github.com/AarhusAI/holstebro_deployment/blob/develop/applications/litellm/litellm-values.yaml#L113).

Så får i ikke rigtig nogle gevinst ved at af-prøve andre modeller hvis den ikke giver mulighed for mere context og message trim kan sætte op til den max mulige context størrelse til denne enkelt model.

Det med ikke sagt at der ikke kan være fejl i message_trim pt. Den mangler support for tool call etc.

Vi i AarhusAI har gang i at lave en lidt bedre udgave (AarhusAI/aarhusai-docker#32) men tænker vi lige skal test den igennem før vi sender den til OS2ai core.

[nikolajkolte]

Blot lige et obs - Den indmeldte fejl med at den stopper med at give output midt i en sætning er reproduceret i Mistral AarhusAI modellen - og det er den fejl jeg har meldt ind.
Naturligvis i håb om at den bliver løst i Mistral modellen og det også giver en løsning for andre sprogmodeller på platformen

[DanielSeegert]

@cableman Tak for informationen! Selvom at problemerne som jeg sendte eksempler på tidligere var knyttet til mistral modellen, så har vi netop nu markante udfordringer med netop dette kontekstvindue på GPT-oss-120 modellen. Jeg kan dog ikke gennemskue om hvorvidt løsningen af dette problem med Mistral 24B også vil løse problemet med GPT-oss - eller om dette vil kræve yderligere tilpasning.

[nikolajkolte]

I known what the error is... it is the guardrail that do not take into account the special message order required when using tools and the small context window.

Fix on the way...

Super - do you know the deadline for the fix? - and when it is applied to our installations?

[SigneA-hm]

Det er en udfordring i flere lag, der tager udgangspunkt i kontekstvinduet, der er implementeret i dén guardrail, der hedder "message trimming". Udfordringen er kontekstvinduet, der til dels er bestemt af LLM'en, men også dén hardware som den hostes på.

1. Denne guardrail er udviklet til Mistral 24b. @cableman arbejder på en forbedret guardrail til Mistral-modellen (som I kan se ovenfor). Men kontekstvinduet er stadig begrænset.
2. ifbm jeres skift til GPT OSS 120b er konfigurationerne fra Mistral 24b kopieret over, men passer ikke til den nye LLM. Konfigurationerne skal tilpasses sprogmodellen. Det skal I gøre i samarbejde med @ath88, så konfigurationerne i litellm passer til GPT oss 120b.
3. Hvis man ønsker større kontekstvindue er det også relevant at gå i dialog med driftleverandøren omkring dette, da det til dels også defineres af hvor mange VRAM der er til rådighed. @ath88 ved det måske?

[SigneA-hm]

@lilosti kan du sige noget om timeline for review af den nye message trimming?

[ath88]

2. ifbm jeres skift til GPT OSS 120b er konfigurationerne fra Mistral 24b kopieret over, men passer ikke til den nye LLM. Konfigurationerne skal tilpasses sprogmodellen. Det skal I gøre i samarbejde med @ath88, så konfigurationerne i litellm passer til GPT oss 120b.

Vi er i aktiv process om netop at lave en konfiguration tilpasset til gpt-oss-120b, med både @nikolajkolte og @DanielSeegert.

3. Hvis man ønsker større kontekstvindue er det også relevant at gå i dialog med driftleverandøren omkring dette, da det til dels også defineres af hvor mange VRAM der er til rådighed. @ath88 ved det måske?

Min opfattelse er at modellen er tilpasset det nuværende mængde VRAM der var til rådighed hos den driftleverandør OS2ai oprindeligt blev bygget hos. Jeg antager at både eksisterende og fremtidige driftsleverandører vil kunne levere flere VRAM hvis man henvender sig til dem omkring dette.

[Paddiolsen]

Jeg har lige prøvet dd her på Lejres os2ai og det ser ud til at virke fint.
Ved ikke om der er blevet lavet nogen rettelser.

[SigneA-hm]

@DanielSeegert og @nikolajkolte.
Vi har ikke været i stand til at genskabe fejlen i vores miljø. Vi mistænker at der er brug for en opdatering af LiteLLM eller vLLM. Core teamet har ikke adgang til jeres konfigurationer, så I skal også have jeres driftsleverandør på banen. Det ser ud som om I rammer størrelsen for kontekstvinduet.
Jeg hører at I måske har fået en ny opdatering siden indrapportering af denne? Har det løst jeres udfordring?