KI-Modell

Modell-Konfiguration

Über den Bereich KI-Assistent gelangt man über den Button oben rechts oder - sobald im KI-Assistenten ein Eingabe-Datensatz verfügbar ist - über die Verlinkung im Nachschlagefeld in den Bereich KI-Modell.

Es können verschiedene Einstellungen zum Modell konfiguriert werden:

Beschreibung: Internationalisierter Name der Modell-Konfiguration (wird z.B. bei der Auswahl innerhalb der Eingabe-Verwaltung angezeigt)
Provider: KI-Anbieter
Modell & Version: Auswahl des verfügbaren Modells

Aktuell ist im Standard mistral-large-latest des KI-Anbieters Mistral verfügbar, weitere Modelle sind auf Anfrage integrierbar.

API-Key: Zugangsschlüssel zum verwendeten Modell
URL: verwendete Schnittstellen-URL

Da die Verarbeitung der Informationen durch die KI mittels Schnittstelle passiert, müssen die Zugangsdaten einmalig hinterlegt werden. Läuft das KI-Modell Mistral in einer lokalen Umgebung, kann die lokale URL an dieser Stelle hinterlegt werden.

Aktuell ist es nicht möglich, Modelle verschiedener Anbieter zu hinterlegen. Es können jedoch bei Bedarf jedoch mehrere Modelle des gleichen Anbieters sowie unterschiedliche Konfigurationen des gleichen Modells hinterlegt werden.

In der Version 2024.5 erfolgt die Konfiguration des API-Keys über den Button “Einstellungen” auf der Hauptseite des KI-Assistenten (Eingabeverwaltung). Eine URL muss nicht eingetragen werden. Der Key wird beim Update von 2024.5 auf 2025.1 automatisch migriert, sodass keine Anpassung notwendig ist.

Max. Tokens: Hier wird festgelegt, wie viele Token eine von der KI generierte Antwort maximal haben darf. Wenn keine Zahl eingetragen ist, dann gibt es keine Grenze (bzw. maximal 128.000 Token).

Je mehr Token verwendet werden, desto höher sind die Kosten für eine KI-Anfrage. Mithilfe der Einstellung kann eine Art Kostenkontrolle erfolgen, sodass die KI-Antworten auf eine bestimmte Länge begrenzt werden. Wird der Maximalwert überschritten, wird die Antwort abgeschnitten.

Deterministik: Hier kann eingestellt werden, wie unterschiedlich die Antworten der KI sein können. Dies kann je nach Kontext unterschiedlich sein, so will man z.B. bei Textvorschlägen mehr Unterscheidungen haben, wie bei einer Zusammenfassung.

Während man beispielsweise bei einer Zusammenfassung von Dokumenten der KI keine besonderen Gestaltungsspielräume geben möchte bei der Formulierung der Zusammenfassung, kann die Deterministik so einstellen, dass die Zusammenfassung für jeden Aufruf sehr ähnlich formuliert wird. Andererseits möchte man bei Gratulationsmails nicht immer das selbe Zitat verwenden, weswegen hier sehr unterschiedliche Formulierungsvorschläge für eine persönliche Note Sinn machen.

*Beispielkonfiguration eines KI-Modells*