记者 [db:标签]��一[db:标签]��

5月3日，Facebook的母公司MetA在它的博客上免费公开了一套LLMs（大型语言模型）——OPT-175B。该公司称这项努力是透明度的实践，是其开放科学承诺的一部分。

LLMs 是基于自然语言处理(NLP)和超过1000亿个不同参数的人工智能训练模型。过去几年，LLMs被广泛运用在了算法开发、生成创造性的文本、数学问题的解决和文本理解上。

衡量LLMs能力的一个重要标准就是参数数量。OPT-175B模型有超过1750亿个参数，和当前世界参数量最大的GPT-3相当。但相比GPT-3，OPT-175B的优势在于它是完全免费的，这使得更多缺乏相关经费的科学家们可以使用这个模型。

同时，Meta 还公布了代码库、开发过程日志、数据、研究论文和其他与OPT-175B相关的信息，希望有更多的社区参与到这个项目中。Meta AI的常务董事乔尔·派诺（Joelle Pineau）告诉美国科技媒体Protocol：“当然，在训练LLMs方面，其它人已经走在了我们前面，并且在某些情况下提供了API。但这些模型的代码和训练模型还没有公布给更广泛的研究团体。”

OPT-175B结合了预训练模型和培训代码，目前从1.25亿到330亿参数的版本都可以免费下载到本地适应，而1750亿参数的版本必须手动申请。

这些模型在一系列开源数据集上接受了训练，包括数千本未出版的书籍和多年来在网上搜集的数据，以完成一系列标准语言模型任务，包括自然语言生成和对话、检测偏见和仇恨言论。

但Meta没有使用任何Facebook或者Instagram的用户数据来训练OPT-175B。“因为我们的目标是能够公开发布模型和相关文档给 AI研究机构。这是我们对可访问、可复制和透明科学的承诺的一部分。”派诺说

通常LLMs的运行需要消耗大量算力，这也是LLMs经常为人所批评的地方。但Meta在OPT-175B的论文中表示，其模型开发的碳排放量为75吨，大约是GPT-3（500吨）的1/7。在具体的算力需求上，OPT-175B只需要16个NVIDIA V100 GPU就可以运行。

尽管OPT-175B是免费的，但Meta确实给出了一些限制。为了防止误用和“保持完整性”，OPT-175B只允许在非商业用途下使用。也就是说，OPT-175B的多数应用场景还是在科研上。