Open Source LLM Performance Tracker
Это шаблон для панели мониторинга производительности LLM и калькулятора затрат. Он создан с использованием Nextjs и Tinybird.
Перечислено в категориях:
Искусственный интеллектОткрытый исходный кодАналитика
Описание
LLM Performance Tracker - это шаблон для создания панели управления и калькулятора затрат, специально разработанный для отслеживания производительности и затрат, связанных с большими языковыми моделями (LLM). Созданный с использованием Next.js и Tinybird, он позволяет пользователям отслеживать различные метрики, связанные с использованием LLM, включая затраты, запросы, токены и продолжительность, классифицированные по модели, провайдеру, организации, проекту, окружению и пользователю.
Как использовать Open Source LLM Performance Tracker?
Чтобы использовать LLM Performance Tracker, создайте форк репозитория на GitHub, настройте его в соответствии с вашими потребностями и установите необходимые переменные окружения. Запустите сервис Tinybird локально, настройте приложение Next.js и запустите его, чтобы получить доступ к панели управления в вашем браузере.
Основные функции Open Source LLM Performance Tracker:
1️⃣
Отслеживание затрат, запросов, токенов и продолжительности LLM по различным параметрам
2️⃣
Многоарендная панель управления для пользователей
3️⃣
Калькулятор затрат на ИИ
4️⃣
Интеграция векторного поиска
5️⃣
Интеграция функции Ask AI
Почему использовать Open Source LLM Performance Tracker?
| # | Сценарий использования | Статус | |
|---|---|---|---|
| # 1 | Организации могут эффективно отслеживать использование и затраты на LLM | ✅ | |
| # 2 | Разработчики могут настраивать панель управления в соответствии с их конкретными аналитическими потребностями | ✅ | |
| # 3 | Специалисты по данным могут анализировать метрики производительности различных моделей и окружений | ✅ | |
Разработано Open Source LLM Performance Tracker?
Tinybird - это компания, сосредоточенная на предоставлении инструментов для аналитики данных в реальном времени и отслеживания производительности, позволяющая разработчикам и организациям создавать эффективные приложения на основе данных.