据报道,微软正在开发拥有5000亿个参数的MAI-1人工智能模型

The Information近日报道,微软公司正在开发一个拥有约5000亿个参数的大型语言模型。

据The Information近日报道,微软公司正在开发一个拥有约5000亿个参数的大型语言模型。

据悉,这个在微软内部被称为MAI-1的大型语言模型预计最早将于本月亮相。

OpenAI在2020年中期推出 GPT-3 时,详细说明了该模型的初始版本拥有1750亿个参数。该公司透露,GPT-4的规模更大,但尚未透露具体数字。有报道称,OpenAI的旗舰LLM包含1.76 万亿个参数,而性能与GPT-4相当的Google LLC的Gemini Ultra据说有1.6万亿个参数。

据报道,微软的MAI-1包含5000亿个参数,这表明它可以被定位为GPT-3和ChatGPT-4之间的一种中端选择。这样的配置可以让模型提供较高的响应精度,但耗电量却大大低于OpenAI的旗舰LLM。这将降低微软的推理成本。

据The Information报道,MAI-1的开发工作由LLM开发商Inflection AI公司的创始人Mustafa Suleyman负责。据称,微软以6.25亿美元的价格收购了这家初创公司,Suleyman与这家公司的大部分员工一起于今年3月加入微软。这位高管早些时候曾与他人共同创办了谷歌(Google LLC)的 DeepMind AI 研究小组。

据报道,微软可能会使用Inflection AI的训练数据和某些其他资产来支持 MAI-1。据说该模型的训练数据集还包括各类信息,包括由GPT-4生成的文本和网页内容。据报道,微软正在使用配备英伟达显卡的“大型服务器集群”进行开发。

The Information的消息来源指出,该公司尚未决定如何使用MAI-1。如果该模型确实拥有5000亿个参数,那么它就太复杂了,无法在消费类设备上运行。这意味着微软最有可能在其数据中心部署 MAI-1,将LLM集成到必应和Azure等服务中。

据信,如果MAI-1能够显示出足够的前景,微软将在5月16日举行的Build开发者大会上首次发布MAI-1。这暗示该公司有望在几周内拥有该模型的工作原型(如果现在还没有的话)。

正在开发MAI-1的消息传出之前不到两周,微软刚刚开源了一个被称为Pi-3 Mini的语言模型。据该公司称,Pi-3 Mini 拥有 38 亿个参数,性能超过规模是其10倍以上的LLM。Pi-3 是人工智能系列的一部分,该系列还包括另外两个更大、性能稍好的神经网络。

(来源:至顶网)
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。

相关推荐

  • 微软公布Azure Logic应用混合部署预览,“睽违已久”的C#内联操作终于落地

    微软增强了低代码工作流服务Logic Apps,如今获得了C#内联操作以及在本地或云环境上部署工作负载的能力,同时仍然通过Azure进行管理。

    2024-06-22
    0
  • 代码吟游诗人:Claude 3.5 Sonnet 如何奏响 AI 应用的全新乐章? 原创

    当我们还在惊叹于 ChatGPT 引发的 AI 应用热潮时,技术迭代的巨轮却从未停止转动。Anthropic 新近推出的 Claude 3.5 Sonnet,如同一位技艺精湛的“代码吟游诗人”,以其在代码生成、视觉处理和推理能力方面的显著提升,再次将我们带到了 AI 应用的新疆域。

    2024-06-21
    0
  • 面对服务器CPU之争,英特尔决定将产品线一分为二

    面对现实挑战,英特尔决定将其产品线一分为二:其一为传统至强核心(即所谓性能P核),其二为经过改进的Atom核心(即所谓能效E核)。

    2024-06-21
    0
  • 多管齐下 浩云长盛让数据中心更绿色高效 原创

    浩云长盛质量治理总监申志军告诉记者,提升数据中心能效可以从建设和运维两个阶段入手,采用节能设计和设备,优化运维策略,浩云长盛在东城、海淀园区等地的数据中心实现了PUE值的大幅降低,显著降低了能耗,体现了数据中心作为绿色节能载体的价值与贡献。

    2024-06-21
    0
  • 据报道,英伟达以1亿美元的价格收购事件自动化初创公司 Shoreline

    据报道,英伟达公司已同意收购事件自动化初创公司Shoreline,但两家公司目前均未证实这笔交易。

    2024-06-20
    0
  • 英伟达超越微软成为全球市值最高的公司

    炙手可热的人工智能芯片制造商英伟达终于实现了很多人认为迟早会实现的目标——超越微软成为这个世界上市值最高的上市公司。

    2024-06-20
    0
  • 联想以“智”赋“质”三重奏 原创

    新质生产力是时代浪潮下引领科技发展新局面的强劲动力,也是构建现代化产业体系的关键。目前,AI新技术已成为当下全球科技创新的焦点,在重塑未来的同时也加速激活“新质生产力”。以算力奠基,将加快产业创造出巨

    2024-06-19
    0
  • HPE携手Nvidia打造用于AI开发的可扩展型硬件平台

    HPE成为加入Nvidia阵营的最近一家系统制造商,于近日宣布推出一系列针对AI优化的联合开发系统,以及针对生成式AI的联合销售和营销集成。

    2024-06-19
    0
  • AI总裁数字人、京东Apple Vision Pro版亮相京东618 技术创新助推“又便宜又好”

    2004年6月18日,刚刚转型电商才半年的京东,用最互联网的方式为忠实粉丝打造了一场价格降到“难以置信”的店庆促销活动,这场促销活动还有一个很具有当年网络小说特质的名字——“月黑风高”。

    2024-06-19
    0
  • Light Phone 3不那么“Light”,但更实用了

    为“极简手机”找到最佳平衡点并不容易,画龙点睛的功能设计往往会是成败的关键。

    2024-06-19
    0