学术机构、政府组织或企业公开的数据集是AI大模型训练数据的重要来源。

学术机构、政府组织和企业公开的数据集确实是AI大模型训练数据的重要来源。这些数据集通常包含多种类型的数据，如图像、文本、音频和视频等，它们为AI模型的训练提供了丰富的素材基础79。例如，开源组织Eleuther AI开发的825GB英文语料库The Pile，就是一个在大模型中被广泛应用的数据集，它包含了22个子数据集，其中部分来源于政府公共数据5。此外，北京国际大数据交易所牵头发布的首批100个人工智能大模型高质量训练数据集，也是一个很好的例子，这些数据集汇聚了来自不同机构的资源，包括中科院大气物理所等6。国家数据局等部门也在积极推动高质量AI大模型训练数据集的建设，通过发布行动计划来完善数据资源体系，进一步促进AI技术的发展8。