Open Source LLM Performance Tracker
Dies ist eine Vorlage für ein Dashboard zur Verfolgung der Leistung von LLMs und einen Kostenrechner. Es wurde mit Nextjs und Tinybird erstellt.
Aufgeführt in Kategorien:
Künstliche IntelligenzOpen SourceAnalytik
Beschreibung
Der LLM Performance Tracker ist eine Vorlage zur Erstellung eines Dashboards und Kostenrechners, die speziell für die Verfolgung der Leistung und Kosten von großen Sprachmodellen (LLMs) entwickelt wurde. Er wurde mit Next.js und Tinybird erstellt und ermöglicht es den Benutzern, verschiedene Metriken im Zusammenhang mit der Nutzung von LLMs zu überwachen, einschließlich Kosten, Anfragen, Tokens und Dauer, kategorisiert nach Modell, Anbieter, Organisation, Projekt, Umgebung und Benutzer.
Wie man benutzt Open Source LLM Performance Tracker?
Um den LLM Performance Tracker zu verwenden, forken Sie das GitHub-Repository, passen Sie es an Ihre Bedürfnisse an und richten Sie die erforderlichen Umgebungsvariablen ein. Starten Sie den Tinybird-Dienst lokal, konfigurieren Sie die Next.js-Anwendung und führen Sie sie aus, um auf das Dashboard in Ihrem Browser zuzugreifen.
Hauptmerkmale von Open Source LLM Performance Tracker:
1️⃣
Verfolgen von LLM-Kosten, Anfragen, Tokens und Dauer nach verschiedenen Dimensionen
2️⃣
Multitenant-Benutzerdashboard
3️⃣
KI-Kostenrechner
4️⃣
Integration der Vektorsuche
5️⃣
Integration der Ask AI-Funktion
Warum könnte verwendet werden Open Source LLM Performance Tracker?
| # | Anwendungsfall | Status | |
|---|---|---|---|
| # 1 | Organisationen können ihre LLM-Nutzung und -Kosten effektiv überwachen | ✅ | |
| # 2 | Entwickler können das Dashboard an ihre spezifischen Analysebedürfnisse anpassen | ✅ | |
| # 3 | Datenwissenschaftler können Leistungsmetriken über verschiedene Modelle und Umgebungen hinweg analysieren | ✅ | |
Wer hat entwickelt Open Source LLM Performance Tracker?
Tinybird ist ein Unternehmen, das sich auf die Bereitstellung von Tools für die Echtzeitanalyse von Daten und die Leistungsüberwachung konzentriert, um Entwicklern und Organisationen zu ermöglichen, effiziente datengestützte Anwendungen zu erstellen.