Meta方面发布并开源代码大模型Code Llama 70B

继此前在2023年8月推出基于Llama 2大模型打造的开源代码模型Code Llama后，日前Facebook母公司Meta方面宣布推出Code Llama的70B版本。并表示，Code Llama 70B可以处理更多的内容，更好地帮助开发者处理编程时遇到的问题，是“Code Llama家族中体量最大、性能最好的模型版本”。

据悉，Code Llama 70B能够高效准确地生成多种编程语言的代码，包括Python、C++、Java等。其在HumanEval基准测试中的准确率达到了53%，超过GPT-3.5的48.1%，但距离OpenAI论文中给出的GPT-4的准确率（67%）还有一段差距。

据了解，Code Llama 70B保持着与Code Llama相同的许可协议，即同样支持免费商用。而且与Code Llama一样，Code Llama 70B也分为原版、针对自然语言指令微调的Instruct版，以及针对Python微调的Python版。

对此Meta CEO扎克伯格表示，“编写和编辑代码已成为当今大模型最重要的用途之一。编码的能力也被证明对于大模型更严格、更有逻辑地处理其他领域的信息非常重要”。值得一提的是，扎克伯格还希望这些成果能够应用到Llama 3中。

不久前扎克伯格曾证实，Llama 3已在训练中，并称其将具备更强的代码生成能力、更高级的推理和规划能力。同时扎克伯格还透露，预计到2024年底，Meta将拥有庞大的AI算力资源，包括350000块H100，如果将其他GPU包括在内，其算力将相当于近60万块H100。

此外Meta AI部门还进行了调整，包括将原本独立运作的AI基础研究团队Facebook AI Research（FAIR）并入产品部门。对此，Meta首席产品官Chris Cox曾表示，“通过这一变化，我们提高了AI研究的重要性，将其视为公司和产品长期成功的重要组成部分”。