Open-Source-LLM-Beobachtbarkeitsplattform und Gateway für KI-Anwendungen.
- Granulares Token-Kosten- und Latenzmonitoring pro Modell
- Antwort-Caching zur Minimierung redundanter API-Aufrufe
- Leichte SDK-Integration für Backend-Dienste
6.3kSterne auf GitHub