一360一提示您:看后求收藏(三五小说网www.bork81.com),接着再看更方便。

在AI领域,开源已成为推动技术进步和创新的重要力量。近日,科技巨头特斯拉的创始人埃隆·马斯克再次展现了他在AI领域的雄心壮志,宣布开源其旗下AI创企xAI开发的大语言模型Grok-1。这一举动不仅使得Grok-1成为当前参数量最大的开源大语言模型,更在业界引发了广泛关注。

马斯克一直对OpenAI的开放性持怀疑态度,此次开源Grok-1可谓是对OpenAI的一次有力回应。在社交平台上,马斯克含沙射影地表示:“我们想了解更多OpenAI的开放部分。”这番言论无疑加剧了业界对于AI开源与闭源之争的关注度。

Grok-1的开源不仅意味着其模型权重和架构将遵循Apache 2.0协议向公众开放,更重要的是,它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性不仅有助于推动AI技术的普及和应用,更能激发更广泛的研究和创新活力。

值得注意的是,Grok-1作为一个拥有3140亿参数的混合专家(Mixture-of-Experts,MOE)大模型,其规模之大令人咋舌。相比之下,OpenAI的GPT-3.5模型仅有1750亿参数。如此庞大的参数量使得Grok-1在语言理解和生成能力上具备了强大的优势。这也意味着,要使用和测试Grok-1,用户需要拥有足够GPU内存的机器。据网友表示,这可能需要一台拥有628 GB GPU内存的机器,这无疑提高了使用该模型的门槛,但也从侧面反映了其技术含量的高度。

在Grok-1的开发过程中,xAI团队展现出了极高的技术实力和创新精神。他们首先训练了一个330亿参数的原型语言模型Grok-0,并在标准语言模型测试基准上取得了接近LLaMA2(70B)的能力。随后,他们对模型的推理和编码能力进行了重大改进,最终开发出了功能更为强大的Grok-1。在HumanEval编码任务和MMLU中,Grok-1均取得了优异的成绩,超过了包括ChatGPT-3.5在内的其他计算类模型。

与其他大模型相比,Grok-1的独特之处在于它是一款从头训练的大模型。xAI团队使用自定义训练堆栈在JAX和Rust上进行训练,没有针对特定任务进行微调。这使得Grok-1在通用性和灵活性方面具备了更高的优势。此外,Grok-1还能通过X平台实时了解世界,这使得它能够回答被大多

更多内容加载中...请稍候...

本站只支持手机浏览器访问,若您看到此段落,代表章节内容加载失败,请关闭浏览器的阅读模式、畅读模式、小说模式,以及关闭广告屏蔽功能,或复制网址到其他浏览器阅读!

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

其他类型推荐阅读 More+
将军是个恋爱脑

将军是个恋爱脑

黄豆油
迎安公主姜迎嫁入南梁将军府,都说姜迎同那将军恩爱非常,也有人说那将军心上人并非姜迎……“即墨承,放我走吧…”姜迎面色惨白地看着即墨承往后退。即墨承的声音骤...
其他 完结 49万字
把女上司拉进红颜群,我被曝光了

把女上司拉进红颜群,我被曝光了

野亮
带着人生成就系统重生的陈涯,把成就刷满后,携手他的十个红颜知己归隐。 所谓归隐就是,找了个班上,坐在公司,一壶清茶一张报纸,笑看同事累死累活。 谁想得到,一次误操作,不小心把他的女上司给拉进了自己的红颜群。 “为什么这家伙5千月薪,却能有这么多红颜知己?他何德何能啊?” “为什么天才美女作家如烟在他群里?这是真人吗?” “为什么影后也在他群里?认真的吗?” “怎么群里还有个岛国财阀的公主?他上哪儿
其他 完结 212万字
被病娇校花认定后,她誓要得到我

被病娇校花认定后,她誓要得到我

网友梦顺梦
倒追+微诡异+无牛+多女+修罗场 只是夸赞了校花柳凝漓的芭蕾舞跳得好,鹤言就被一系列诡异的现象所缠身… 午夜时分他的家门会被敲响,校花会手持利器出现在门前 “为什么不肯告诉我你的姓名?” “为什么不愿意看我…” “为什么要故意躲着我…” “那个女孩子是谁?” “学长,只能是我的哦~” 在被一次次杀死中,鹤言发现诡异空间里的校花竟是现实世界中校花的一个缩影… 有些嘴硬内心却十分善良的青梅竹马,嚣张跋
其他 连载 43万字
就算是治愈系也要上战场

就算是治愈系也要上战场

冬瓜是瓜
快穿大佬宋圆圆,完成任务后抽到星际时代开始了养老生活,但开局好像不太好。 原主的亲人因为她觉醒了治愈系就想让她去死别给家族蒙羞。 宋圆圆冷笑一声:“没有废物的异能只有废物的异能者。” 于是,原本拿着炮灰剧本打算养老的宋圆圆开启的主角剧本模式,她要让所有人都知道,这个废物异能(治愈系)也是很6的。 打最猛的架,救最多的人,只要有她在,没人能在她面前死掉。 宋家人觉得她给家族蒙羞,想要她以死谢罪。 那
其他 连载 31万字
全球游戏:我只想静静的刷成就

全球游戏:我只想静静的刷成就

洛阳又起风了
(无女主+杀伐果断+无限流 主角非圣母,慎入) “你是否厌倦平凡,又是否渴望力量? 如果你想摆脱平凡,拥有凌驾于众生之上的力量,那么就来加入这场游戏吧。” 叶霜落被神秘游戏选中成为预备玩家。 作为玩家,他要面对的是来自其他平行时空与多元宇宙的外服玩家。 好在叶霜落觉醒了专属天赋:“成就大师”,只要达成一系列成就,就可以获得无数强悍的技能与属性。 当跨服战争开启,外服玩家们踏过时空门来到蓝星,叶霜落
其他 连载 112万字
重生幕后贵族法师

重生幕后贵族法师

超大只核平鸽
做好穿越准备后,前世的剧情流法师高玩夏渊穿成了NPC,还是帝国大公爵新生的第四子! 他本欲迎接枯燥的贵族生活,但万没想到,时代变革! 家族作为最后的障碍,已经被新贵族打上反派标签,即将被历史大势滚滚碾压! 无奈,夏渊只好凭借对游戏历史的了解,逐步增强自身实力。 失落的宝藏、禁忌的古代兵器、永生的秘法、被遗忘的史诗… 以一己之力,挽时代狂澜!逆天改命!浴火重生! …… 骑士宣誓,法师吟唱,巨龙展翼!
其他 连载 219万字