星期四
13:21
苹果发布开源语言模型OpenELM
链观CHAINLOOK消息， 在 WWDC24 之前，苹果在 Hugging Face 平台上发布了一个“具有开源训练和推理框架的高效语言模型”，名为 OpenELM。这是一项开源语言模型，其源码及预训练的模型权重和训练配方可在苹果 Github 库中获取。 据介绍，OpenELM 使用分层缩放策略，可以有效地分配 Transformer 模型每一层的参数，从而提高准确率。例如，在参数量约为 10 亿的情况下，OpenELM 与 OLMo 相比准确率提升了 2.36%，同时所需的预训练 tokens 数量仅有原来的 50%。 与以往只提供模型权重和推理代码并在私有数据集上进行预训练的做法不同，苹果公司发布的版本包含了在公开数据集上训练和评估语言模型的完整框架，包括训练日志、多个检查点和预训练配置。 此外其还发布了将模型转换为 MLX 库的代码，以便在苹果设备上进行推理和微调。此次全面发布旨在增强和巩固开放研究社区，为未来的开放研究工作铺平道路。
免责声明：本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况，及遵守所在国家和地区的相关法律法规。
下一篇：
比特币现货ETF总资产净值为536.50亿美元，ETF净资产比率达4.25%
根据 SoSoValue 数据，昨日（美东时间 4 月 24 日）比特币现货 ETF 总净流出 1.21 亿美元，其中： 灰度（Grayscale）ETF GBTC 单日净流出 1.30 亿美元，目前 GBTC 历史净流出为 169.63 亿美元； 单日净流入最多的比特币现货 ETF 为富达（Fidelity）ETF FBTC，单日净流入为 560.69 万美元，目前 FBTC 历史总净流入达 81.86 亿美元； 其次为 Ark Invest 和 21Shares 的 ETF ARKB，单日净流入为 417.19 万美元，目前 ARKB 历史总净流入达 22.72 亿美元。