描述
HyperCrawl是专为LLM和RAG应用程序设计的第一个网络爬虫，旨在增强检索引擎。它旨在显着缩短检索时间，并提高ML工程师的效率。
如何使用 HyperHRT - Instant serverless finetuning?
要使用HyperCrawl，您可以通过HyperAPI随时访问它，在Python库中使用'pip install hypercrawl'进行安装，并与之一起工作，而不受核心基础设施的限制。它既可以作为API，也可以作为Python库使用，提供了多样性和易用性。
核心功能 HyperHRT - Instant serverless finetuning:
1️⃣
异步IO
2️⃣
并发管理
3️⃣
高效资源处理
4️⃣
访问的URL跟踪
5️⃣
嵌套事件循环支持
为什么要使用 HyperHRT - Instant serverless finetuning?
| # | 使用案例 | 状态 | |
|---|---|---|---|
| # 1 | 提升检索过程 | ✅ | |
| # 2 | 减少域名的爬取时间 | ✅ | |
| # 3 | 防止重复访问和重新处理页面 | ✅ | |
开发者 HyperHRT - Instant serverless finetuning?
HyperCrawl是HyperLLM的产品，致力于构建未来需要更少计算资源且胜过现有模型的LLM基础设施。