Modelle & Souveränität

Modelle werden in der Form provider/model identifiziert, z. B. mistral/mistral-large-latest. Listen Sie alles auf, was Ihrer Organisation zur Verfügung steht, mit GET /v1/models.

1
{
2
  "object": "list",
3
  "data": [
4
    {
5
      "id": "mistral/mistral-large-latest",
6
      "object": "model",
7
      "owned_by": "mistral",
8
      "kind": "chat",
9
      "context_length": 128000,
10
      "sovereignty": "strict",
11
      "pricing": {
12
        "input_micro_eur_per_mtok": 1800000,
13
        "output_micro_eur_per_mtok": 5400000
14
      }
15
    }
16
  ]
17
}

Souveränitätsstufen

Jedes Modell deklariert eine sovereignty-Stufe, damit Sie wählen können, wie streng Ihre Anforderungen an die Datenresidenz sind:

Modellarten

Ein Embedding-Modell an den Chat-Endpunkt zu senden (oder umgekehrt) wird abgelehnt; eine unbekannte oder deaktivierte ID liefert 404 model_not_found.

Preise und die Geldeinheit

Geld ist überall in Kontinent eine ganzzahlige Mikro-EUR-Größe:

1 EUR = 1.000.000 µEUR

Modellpreise werden pro Million Tokens angegeben, aufgeteilt in Eingabe- und Ausgabe-Raten. Im Beispiel oben kostet die Eingabe 1.800.000 µEUR/Mtok = 1,80 € pro Million Eingabe-Tokens, und die Ausgabe kostet 5,40 € pro Million Ausgabe-Tokens.

Ganzzahlen vermeiden Rundungsfehler durch Gleitkommazahlen bei der Abrechnung — siehe Rate-Limits & Guthaben, wie Ausgaben gemessen werden.