马斯克言出必行:神秘顾客网站
旗下大模子Grok现已开源!
代码和模子权重已上线GitHub。官方信息露馅,这次开源的Grok-1是一个3140亿参数的夹杂行家模子——
即是说,这是现时开源模子中参数目最大的一个。
音信一出,Grok-1的GitHub仓库已揽获4.5k标星,何况还在库库猛涨。
色调包们,第一时期被吃瓜公共们热传了起来。
而ChatGPT本Chat,也现身Grok批驳区,初始了和马斯克新一天的斗嘴……
那么,话未几说,来望望马斯克这波为怼OpenAI,究竟拿出了什么真东西。
Grok-1说开源就开源
这次开源,xAI发布了Grok-1的基本模子权重和网罗架构。
具体来说是2023年10月预考研阶段的原始基础模子,莫得针对任何特定诳骗(举例对话)进行微调。
结构上,Grok-1袭取了夹杂行家(MoE)架构,包含8个行家,总参数目为314B(3140亿),处理Token时,其中的两个行家会被激活,激活参数目为86B。
单看这激活的参数目,就也曾升迁了密集模子Llama 2的70B,关于MoE架构来说,这么的参数目称之为硕大无比也绝不为过。
不外,在GitHub页面中,官方也提醒,由于模子范围较大(314B参数),需要有有余GPU和内存的机器才智运行Grok。
这里MoE层的达成成果并不高,经受这种达成格式是为了幸免考证模子的正确性时需要自界说内核。
模子的权重文献则所以磁力长入的形貌提供,文献大小接近300GB。
而且这个“有余的GPU”,条目不是一般的高——YC上有网友揣摸,要是是8bit量化的话,可能需要8块H100。
除了参数目前所未有,在工程架构上,Grok亦然匠心独具——
莫得袭取常见的Python、PyTorch或Tensorflow,而是选用了Rust编程说话以及深度学习框架少壮JAX。
而在官方告示以外,还有很多大佬通过扒代码等格式揭露了Grok的更多时期细节。
比如来自斯坦福大学的Andrew Kean Gao,就针对Grok的时期细节进行了详备讲授。
领先,Grok袭取了使用旋转的embedding格式,而不是固定位置embedding,旋转位置的embedding大小为 6144,与输入embedding疏通。
天然,还有更多的参数信息:
窗口长度为8192tokens,精度为bf16
Tokenizer vocab大小为131072(2^17),与GPT-4接近;
embedding大小为6144(48×128);
Transformer层数为64,每层皆有一个解码器层,包含多头扎看法块和密集块;
key value大小为128;
多头扎看法块中,神秘顾客网站有48 个头用于查询,8 个用于KV,KV 大小为 128;
密集块(密集前馈块)扩张因子为8,荫藏层大小为32768。
除了Gao,还有英伟达AI科学家Ethan He(何宜晖)指出,在行家系统的处理方面,Grok也与另一盛名开源MoE模子Mixtral不同——
Grok对沿路的8个行家皆诳骗了softmax函数,然后从中经受top2行家,而Mixtral则是先采用行家再诳骗softmax函数。
而至于有莫得更多细节,可能要看官方会不会发布进一步的音信了。
另外,值得一提的是,Grok-1袭取的是Apache 2.0 license,也即是说,商用友好。
为怼OpenAI怒而Open
群众伙知谈,马斯克因为OpenAI不Open,也曾向旧金山高档法院拿告状讼,肃穆把OpenAI给告了。
不外其时马斯克我方搞的Grok也并莫得开源,还只面向𝕏的付用度户敞开,不免被质疑双标。
或者是为了堵上这个bug,马斯克在上周宣布:
本周,xAI将开源Grok。
天然时期点上似乎又是马斯克一贯的迟到格调,但xAI的这波Open如今看来照实不是口嗨,照旧给了网友们一些小小的颤动。
友情提醒:本网站仅作为用户寻找交易对象,就货物和服务的交易进行协商,以及获取各类与贸易相关的服务信息的平台。为避免产生购买风险,建议您在购买相关产品前务必确认供应商资质及产品质量。
有xAI新晋职工感叹说:
这将是本旨东谈主心的一年,快系好安全带吧。
有东谈主也曾期待起Grok四肢一个开源模子,进一步搅拌大模子竞争的这一池水。
不外,也并不是每个东谈主皆买马斯克的账:
不外说归说,多线并进的马斯克,最近大事不啻开源Grok这一件。
四肢多公司、多业务的时期处置行家,马斯克旗下,特斯拉刚刚全线推出了端到端纯视觉的自动驾驶系统FSD V12,系数北好意思车主用户,皆OTA更新升级,不错达成系数谈路场景的淘气点到点AI驾驶。
SpaceX则完成了第三次星舰辐照,天然终末功败垂成,但又史无先例地迈进了一大步。
推特则开源了保举算法,然后迎来了一波天然流量新岑岭。
别东谈主皆是 you can you up, no can no bb…马斯克不不异,bb up不经受,边喊边干,还皆干成了。