Llama 2 是一系列预训练和微调的大型语言模型，具有从7亿到70亿参数的规模。
技术升级
- 模型规模扩展：Llama 2 包含不同规模的模型，从7亿到70亿参数不等1。
- 训练数据增加：Llama 2 训练使用了2万亿个标记，比前一代Llama增加了40%的训练语料2。
- 上下文长度提升：Llama 2 的上下文长度从2048提升至4096，能够理解和生成更长的文本2。
架构与应用
- 基于Transformer：Llama 2 基于Transformer架构，展现出卓越的自然语言处理能力4。
- 广泛应用：广泛应用于自然语言处理任务，如文本生成、翻译、摘要等3。
负责任的开放
- 对齐原则：实现方法和技术与helpfulness和safety原则对齐，确保对社会的积极贡献5。
- 促进研究：Llama 2 的开放旨在促进研究步伐，负责任地为社会做出贡献5。
