Open Source LLM Performance Tracker
Esta es una plantilla para un panel de seguimiento del rendimiento de LLM y un calculador de costos. Está construido con Nextjs y Tinybird.
Listado en categorías:
Inteligencia artificialCódigo abiertoAnalítica
Descripción
LLM Performance Tracker es una plantilla para crear un panel y calculadora de costos específicamente diseñada para rastrear el rendimiento y los costos asociados con los modelos de lenguaje grande (LLMs). Construido con Next.js y Tinybird, permite a los usuarios monitorear varias métricas relacionadas con el uso de LLM, incluidos costos, solicitudes, tokens y duración, categorizados por modelo, proveedor, organización, proyecto, entorno y usuario.
Cómo usar Open Source LLM Performance Tracker?
Para usar el LLM Performance Tracker, bifurca el repositorio de GitHub, personalízalo según tus necesidades y configura las variables de entorno necesarias. Inicia el servicio de Tinybird localmente, configura la aplicación Next.js y ejecútala para acceder al panel en tu navegador.
Características principales de Open Source LLM Performance Tracker:
1️⃣
Rastrear costos, solicitudes, tokens y duración de LLM por varias dimensiones
2️⃣
Panel de usuario multitenant
3️⃣
Calculadora de costos de IA
4️⃣
Integración de búsqueda vectorial
5️⃣
Integración de función Preguntar a IA
Por qué podría ser usado Open Source LLM Performance Tracker?
| # | Caso de Uso | Estado | |
|---|---|---|---|
| # 1 | Las organizaciones pueden monitorear su uso y costos de LLM de manera efectiva | ✅ | |
| # 2 | Los desarrolladores pueden personalizar el panel para adaptarlo a sus necesidades analíticas específicas | ✅ | |
| # 3 | Los científicos de datos pueden analizar métricas de rendimiento a través de diferentes modelos y entornos | ✅ | |
Desarrollado por Open Source LLM Performance Tracker?
Tinybird es una empresa enfocada en proporcionar herramientas para análisis de datos en tiempo real y seguimiento de rendimiento, permitiendo a desarrolladores y organizaciones construir aplicaciones eficientes basadas en datos.