説明
HyperCrawlは、LLMおよびRAGアプリケーション向けに特別に設計された最初のWebクローラーであり、リトリーバルエンジンの向上を目指して開発されました。リトリーバル時間を大幅に短縮し、MLエンジニアの効率を向上させることを目指しています。
使い方 HyperHRT - Instant serverless finetuning?
HyperCrawlを使用するには、HyperAPIを介してどこからでもアクセスでき、'pip install hypercrawl'を使用してPythonライブラリとしてインストールし、コアインフラストラクチャに関係なく使用できます。APIとPythonライブラリの両方として利用可能であり、柔軟性と使いやすさを提供しています。
の主な機能 HyperHRT - Instant serverless finetuning:
1️⃣
非同期IO
2️⃣
並行管理
3️⃣
効率的なリソースハンドリング
4️⃣
訪問済みURLの追跡
5️⃣
ネストされたイベントループのサポート
なぜ使用するのか HyperHRT - Instant serverless finetuning?
| # | ユースケース | ステータス | |
|---|---|---|---|
| # 1 | リトリーバルプロセスの強化 | ✅ | |
| # 2 | ドメインのクロール時間の短縮 | ✅ | |
| # 3 | ページの再訪と再処理の防止 | ✅ | |
開発者 HyperHRT - Instant serverless finetuning?
HyperCrawlは、将来のより少ない計算リソースを必要とし、既存のモデルを凌駕するLLM向けのインフラを構築することに専念しているHyperLLMの製品です。