RedPajama

RedPajama

Together 宣布了 RedPajama，这是一个与其他 AI 组织合作创建大型语言模型的开源项目。 RedPajama 发布了一个 1.2 万亿代币数据集，该数据集复制了 LLaMA 配方，使组织能够预训练可获得许可的模型。