Nous Research 提出高效计算法 YaRN，可扩展大模型上下文窗口

发表评论
12 views

A+

据品玩 9 月 5 日报道，Nous Research 联手 EleutherAI 实验室以及瑞士日内瓦大学的研究者发表论文，公布了一项名为 YaRN 的方法，可扩展大模型上下文窗口。论文显示，和传统方法相比，YaRN 需要更少的标记和训练步骤。利用这种方法，LLaMA 模型可以有效地利用和外推到比其原始预训练所允许的上下文长度更长的上下文，同时超过了过去窗口扩展的最新技术水平。据 GitHub 页面显示，使用 YaRN 进行微调的 LLaMA 2 7B/13B 上下文窗口分别可达到 64k 和 128k。

免责声明

发文时比特币价格：$29249

当前比特币价格：[crypto coins=”BTC” type=”text” show=”price”]

当前比特币涨幅：[crypto coins=”BTC” type=”text” show=”percent”]

免责声明：

本文不代表路远网立场，且不构成投资建议，请谨慎对待。用户由此造成的损失由用户自行承担，与路远网没有任何关系；

路远网不对网站所发布内容的准确性，真实性等任何方面做任何形式的承诺和保障；

网站内所有涉及到的区块链（衍生）项目，路远网对项目的真实性，准确性等任何方面均不做任何形式的承诺和保障；

网站内所有涉及到的区块链（衍生）项目，路远网不对其构成任何投资建议，用户由此造成的损失由用户自行承担，与路远网没有任何关系；

路远区块链研究院声明：路远区块链研究院内容由路远网发布，部分来源于互联网和行业分析师投稿收录，内容为路远区块链研究院加盟专职分析师独立观点，不代表路远网立场。