Strategi for sprogmodeller og indlejringsmodeller

[janhalen]

🇬🇧 English summary: Discussion about embedding and language model sizes and strategic fit

🎯 Formål

Dette issue skal samle diskussioner om strategiske valg ved brug af sprogmodeller (LLM) og indlejringsmodeller (embedding models) – både store og små – og hvordan de understøtter vores overordnede mål.

---

✅ Baggrund

• Hvorfor er dette vigtigt?
• Hvilke strategiske mål skal modellerne understøtte? (fx effektivitet, dataprivatliv, omkostninger, interoperabilitet)

---

🔍 Punkter til diskussion

• Store vs. små modeller

  • Hvornår giver små modeller mening?
  • Hvornår er store modeller nødvendige?

• Fordele og ulemper

  • Performance vs. ressourceforbrug
  • Licens og open source vs. proprietære løsninger
  • Drift og vedligeholdelse

• Indlejringsmodeller

  • Hvordan understøtter de semantisk søgning og kontekstforståelse?
  • Skal vi bruge generelle embeddings eller domænespecifikke?

• Sprogmodeller

  • Skal vi satse på LLM eller mindre specialiserede modeller?
  • Hvordan sikrer vi kvalitet og governance?

[janhalen]

@DKAndreasen & @SigneA-hm: Heres an anchor topic for a dialogou about different model choices...

[SigneA-hm]

Currently AarhusAI are developing a framework for evaluation of LLMs. Will follow this development for now.

[DKAndreasen]

Mht

• Store vs. små modeller

  • Hvornår giver små modeller mening?
  • Hvornår er store modeller nødvendige?

• Fordele og ulemper

  • Performance vs. ressourceforbrug
  • Licens og open source vs. proprietære løsninger
  • Drift og vedligeholdelse

så har Analyse&tal lavet et glimrende case studie på deres A&ttack model og gpt4 og hadtaleidentifikations casen (obligatorisk læsning @janhalen og @SigneA-hm - jeg tror jeg har en version med margennoter liggende i kan låne). Men helt generelt er det et mudret billede, hvor time-to-solution og data-availability/cost (mangel) ofte er en parametre som store modeller vinder på. Men det er et kontinium der afhænger af usecasen, så diskussionen bliver hurtig ligegyldig/overfladisk, hvis ikke casen er specifik.

• Indlejringsmodeller

  • Hvordan understøtter de semantisk søgning og kontekstforståelse?
  • Skal vi bruge generelle embeddings eller domænespecifikke?

se mit baggrundsskriv - pt. kun i egen fork det er work in progress (men desværre ikke meget progress på det seneste)

• Skal vi satse på LLM eller mindre, specialiserede, modeller?

afhænger af usecasen...

• Hvordan sikrer vi kvalitet

Vi starter med at definerer hvad vi mener med kvalitet og igen på usecase niveau. Derudover udvikler vi i samarbejde med brugere og ud fra feedback, men også med forhåndsdefinerede usecases. På sigt kan vi højst sandsynligt finde ting der går igen på tværs af usecases, men det er for usikkert at prøve at udtænke det på forhånd