Grok-1
BlogAboutCareersMarch 17 2024Open Release of Grok1我们发布了我们的3140亿参数MixtureofExperts模型Grok1的权重和架构
列在类别中:
GitHubTwitter人工智能
描述
Grok1是一个由xAI从头开始训练的拥有3140亿参数的MixtureofExperts模型。它是一个基础模型检查点，发布在Apache 2.0许可下，没有针对特定应用（如对话）进行微调。该模型设计用于文本数据处理，在给定标记上有25%的权重处于活动状态。
如何使用 Grok-1?
要使用Grok1，请按照github.com/xaiorg/grok上提供的说明进行操作。该模型已准备好用于文本数据处理任务和实验。
核心功能 Grok-1:
1️⃣
拥有3140亿参数的大型语言模型
2️⃣
MixtureofExperts模型架构
3️⃣
由xAI从头开始训练
4️⃣
发布在Apache 2.0许可下
5️⃣
没有针对特定应用进行微调
为什么要使用 Grok-1?
| # | 使用案例 | 状态 | |
|---|---|---|---|
| # 1 | 文本数据处理 | ✅ | |
| # 2 | 语言建模 | ✅ | |
| # 3 | 研究和实验 | ✅ | |
开发者 Grok-1?
xAI是Grok1的制造商，专门从事先进的AI模型和训练技术。