GitHub
Moteur de traitement de flux Rust haute performance offrant de puissantes capacités de traitement de flux de données prenant en charge plusieurs sources et processeurs d'entrée/sortie.
Listé dans les catégories:
GitHubAnalytiqueOpen Source
Description
ArkFlow est un moteur de traitement de flux Rust haute performance conçu pour des capacités puissantes de traitement de flux de données. Il prend en charge plusieurs sources d'entrée et de sortie, ce qui le rend polyvalent pour divers besoins de traitement de données.
Comment utiliser GitHub?
Pour utiliser ArkFlow, clonez le dépôt, construisez le projet en utilisant Cargo, et créez un fichier de configuration YAML pour définir les sources d'entrée, les pipelines de traitement et les cibles de sortie. Exécutez le moteur avec le fichier de configuration pour commencer à traiter les données.
Fonctionnalités principales de GitHub:
1️⃣
Haute Performance : Basé sur Rust et l'exécution asynchrone Tokio pour d'excellentes performances et une faible latence.
2️⃣
Multiples Sources de Données : Prend en charge Kafka, MQTT, HTTP, fichiers et autres sources d'entrée/sortie.
3️⃣
Capacités de Traitement Puissantes : Inclut des requêtes SQL intégrées, le traitement JSON, l'encodage/décodage Protobuf et le traitement par lots.
4️⃣
Extensible : Conception modulaire permettant une extension facile avec de nouveaux composants d'entrée, de sortie et de traitement.
5️⃣
Flexibilité de Configuration : Utilise le format YAML pour la configuration, prenant en charge diverses configurations d'entrée, de traitement et de sortie.
Pourquoi pourrait-il être utilisé GitHub?
# | Cas d'utilisation | Statut | |
---|---|---|---|
# 1 | Traitement de données en temps réel à partir de sujets Kafka. | ✅ | |
# 2 | Traitement par lots de données à partir de fichiers ou de sources HTTP. | ✅ | |
# 3 | Transformation et analyse de données à l'aide de requêtes SQL. | ✅ |
Développé par GitHub?
ArkFlow est développé par Chen Quan, qui se concentre sur la création de solutions de traitement de données haute performance utilisant Rust.