马斯克言出必行：神秘顾客网站

旗下大模子Grok现已开源！

代码和模子权重已上线GitHub。官方信息露馅，这次开源的Grok-1是一个3140亿参数的夹杂行家模子——

即是说，这是现时开源模子中参数目最大的一个。

音信一出，Grok-1的GitHub仓库已揽获4.5k标星，何况还在库库猛涨。

色调包们，第一时期被吃瓜公共们热传了起来。

而ChatGPT本Chat，也现身Grok批驳区，初始了和马斯克新一天的斗嘴……

那么，话未几说，来望望马斯克这波为怼OpenAI，究竟拿出了什么真东西。

Grok-1说开源就开源

这次开源，xAI发布了Grok-1的基本模子权重和网罗架构。

具体来说是2023年10月预考研阶段的原始基础模子，莫得针对任何特定诳骗（举例对话）进行微调。

结构上，Grok-1袭取了夹杂行家（MoE）架构，包含8个行家，总参数目为314B（3140亿），处理Token时，其中的两个行家会被激活，激活参数目为86B。

单看这激活的参数目，就也曾升迁了密集模子Llama 2的70B，关于MoE架构来说，这么的参数目称之为硕大无比也绝不为过。

不外，在GitHub页面中，官方也提醒，由于模子范围较大（314B参数），需要有有余GPU和内存的机器才智运行Grok。

这里MoE层的达成成果并不高，经受这种达成格式是为了幸免考证模子的正确性时需要自界说内核。

模子的权重文献则所以磁力长入的形貌提供，文献大小接近300GB。

而且这个“有余的GPU”，条目不是一般的高——YC上有网友揣摸，要是是8bit量化的话，可能需要8块H100。

除了参数目前所未有，在工程架构上，Grok亦然匠心独具——

莫得袭取常见的Python、PyTorch或Tensorflow，而是选用了Rust编程说话以及深度学习框架少壮JAX。

而在官方告示以外，还有很多大佬通过扒代码等格式揭露了Grok的更多时期细节。

比如来自斯坦福大学的Andrew Kean Gao，就针对Grok的时期细节进行了详备讲授。

领先，Grok袭取了使用旋转的embedding格式，而不是固定位置embedding，旋转位置的embedding大小为 6144，与输入embedding疏通。

天然，还有更多的参数信息：

窗口长度为8192tokens，精度为bf16

Tokenizer vocab大小为131072（2^17），与GPT-4接近；

embedding大小为6144（48×128）；

Transformer层数为64，每层皆有一个解码器层，包含多头扎看法块和密集块；

key value大小为128；

多头扎看法块中，神秘顾客网站有48 个头用于查询，8 个用于KV，KV 大小为 128；

密集块（密集前馈块）扩张因子为8，荫藏层大小为32768。

除了Gao，还有英伟达AI科学家Ethan He（何宜晖）指出，在行家系统的处理方面，Grok也与另一盛名开源MoE模子Mixtral不同——

Grok对沿路的8个行家皆诳骗了softmax函数，然后从中经受top2行家，而Mixtral则是先采用行家再诳骗softmax函数。

而至于有莫得更多细节，可能要看官方会不会发布进一步的音信了。

另外，值得一提的是，Grok-1袭取的是Apache 2.0 license，也即是说，商用友好。

为怼OpenAI怒而Open

群众伙知谈，马斯克因为OpenAI不Open，也曾向旧金山高档法院拿告状讼，肃穆把OpenAI给告了。

不外其时马斯克我方搞的Grok也并莫得开源，还只面向𝕏的付用度户敞开，不免被质疑双标。

或者是为了堵上这个bug，马斯克在上周宣布：

本周，xAI将开源Grok。

天然时期点上似乎又是马斯克一贯的迟到格调，但xAI的这波Open如今看来照实不是口嗨，照旧给了网友们一些小小的颤动。

友情提醒：本网站仅作为用户寻找交易对象，就货物和服务的交易进行协商，以及获取各类与贸易相关的服务信息的平台。为避免产生购买风险，建议您在购买相关产品前务必确认供应商资质及产品质量。

有xAI新晋职工感叹说：

这将是本旨东谈主心的一年，快系好安全带吧。

有东谈主也曾期待起Grok四肢一个开源模子，进一步搅拌大模子竞争的这一池水。

不外，也并不是每个东谈主皆买马斯克的账：

不外说归说，多线并进的马斯克，最近大事不啻开源Grok这一件。

四肢多公司、多业务的时期处置行家，马斯克旗下，特斯拉刚刚全线推出了端到端纯视觉的自动驾驶系统FSD V12，系数北好意思车主用户，皆OTA更新升级，不错达成系数谈路场景的淘气点到点AI驾驶。

SpaceX则完成了第三次星舰辐照，天然终末功败垂成，但又史无先例地迈进了一大步。

推特则开源了保举算法，然后迎来了一波天然流量新岑岭。

别东谈主皆是 you can you up， no can no bb…马斯克不不异，bb up不经受，边喊边干，还皆干成了。