GitHub
Высокопроизводительный движок обработки потоков на Rust, обеспечивающий мощные возможности обработки потоков данных с поддержкой нескольких источников и процессоров ввода/вывода.
Перечислено в категориях:
GitHubАналитикаОткрытый исходный код
Описание
ArkFlow — это высокопроизводительный движок потоковой обработки на Rust, разработанный для мощных возможностей обработки потоковых данных. Он поддерживает несколько источников ввода и вывода, что делает его универсальным для различных потребностей в обработке данных.
Как использовать GitHub?
Чтобы использовать ArkFlow, клонируйте репозиторий, соберите проект с помощью Cargo и создайте файл конфигурации YAML для определения источников ввода, конвейеров обработки и целевых выходов. Запустите движок с файлом конфигурации, чтобы начать обработку данных.
Основные функции GitHub:
1️⃣
Высокая производительность: основан на Rust и асинхронном времени выполнения Tokio для отличной производительности и низкой задержки.
2️⃣
Несколько источников данных: поддерживает Kafka, MQTT, HTTP, файлы и другие источники ввода/вывода.
3️⃣
Мощные возможности обработки: включает встроенные SQL-запросы, обработку JSON, кодирование/декодирование Protobuf и пакетную обработку.
4️⃣
Расширяемость: модульный дизайн позволяет легко расширять с помощью новых компонентов ввода, вывода и процессоров.
5️⃣
Гибкость конфигурации: использует формат YAML для конфигурации, поддерживая различные настройки ввода, обработки и вывода.
Почему использовать GitHub?
| # | Сценарий использования | Статус | |
|---|---|---|---|
| # 1 | Обработка данных в реальном времени из тем Kafka. | ✅ | |
| # 2 | Пакетная обработка данных из файлов или HTTP-источников. | ✅ | |
| # 3 | Преобразование и анализ данных с использованием SQL-запросов. | ✅ | |
Разработано GitHub?
ArkFlow разработан Ченем Цюанем, который сосредоточен на создании высокопроизводительных решений для обработки данных с использованием Rust.