Together 宣布了 RedPajama,这是一个与其他 AI 组织合作创建大型语言模型的开源项目。 RedPajama 发布了一个 1.2 万亿代币数据集,该数据集复制了 LLaMA 配方,使组织能够预训练可获得许可的模型。