快认识Falcon！瞬达榜首的LLM新秀

ws786873

开源、免费使用、可商业化、资源需求低、短时间占据开源LLM的榜首！
以上所有这些关键字，无论谁看了，相信都会高看一眼！
近期，人工智能领域的最新成员Falcon LLM快速占据了全球知名LLM排行榜的首位，引起行业广泛关注。Falcon LLM是阿布扎比技术创新研究所(TII)开发的开源基础语言模型，采用Apache 2.0许可证发布，任何人均可免费使用与商业化。
Falcon家族目前有两种版本:Falcon 40B拥有40亿模型参数，Falcon 7B拥有7.5亿模型参数。
Falcon 40B近期在Open LLM排行榜上位居榜首，超过Meta开发的LLaMA系列与Stability AI的StableLM。Falcon 7B在轻量级参数版本中表现出色。
Falcon 40B训练需要90GB GPU内存，相比其他模型如LLaMA 65B内存需求更低;Falcon 7B仅需15GB GPU内存，可在普通计算机上使用。
TII还发布了基于指令的Falcon 7B-Instruct与Falcon 40B-Instruct版本，通过微调对话数据更适用于虚拟助手等任务。想快速试验Falcon，可选择这两个版本。TII计划未来开放更多自定义指令版本。
Falcon 7B与Falcon 40B分别在15万亿与10万亿令牌上训练，与现代注重推理的模型相当。Falcon的训练数据主要来自RefinedWeb，一种基于CommonCrawl的数据集，通过大规模过滤与重复数据删除，质量可与其他语料库相媲美。虽然Falcon仍使用部分精选数据如Reddit对话数据，但比GPT-3与PaLM依赖精选数据的比例明显更低。Falcon有望是目前最佳开源大语言模型！
Falcon采用开源免费商业许可，计算资源需求低，Falcon 7B甚至可在Mac上使用，满足业内对全开源LLM的诉求。计算资源门槛下降，多设备部署LLM成为可能，小型客户端LLM与大型云端LLM形成新模式，或加大OpenAI等头部企业开源模型的压力。
总结来说，Falcon LLM作为TII首款开源大语言模型，采用Apache 2.0许可全面开源，参数空间较大与计算资源需求较低，在LLM排行榜上快速占据首位，有望推动LLM技术进一步普及与商业化，值得机器学习与人工智能领域的研究者与从业者密切关注。