|
|
@@ -12,9 +12,12 @@
|
|
|
开源和跨平台：所有代码和模型权重都公开用于研究目的。CodeGeeX支持Ascend和NVIDIA平台。它支持在单个Ascend 910、NVIDIA V100或A100中进行推理，应用模型权重。
|
|
|
为了评估代码补全的准确性等，研究人员也提出了一个评估基准——HumanEval-X现实多语言基准测试，来帮助标准化多语言代码生成和翻译的评估。HumanEval-X是一个新的多语言基准测试，包含5种编程语言（Python、C++、Java、JavaScript和Go）的820个人工编码问题，每个问题都与测试和解决方案相关。
|
|
|
|
|
|
+### 模型
|
|
|
+CodeGeeX是一个基于transformers的大规模预训练编程语言模型。它是一个从左到右生成的自回归解码器，将代码或自然语言标识符（token）作为输入，预测下一个标识符的概率分布。
|
|
|
|
|
|
|
|
|
-需要注意的是，CodeGeeX模型大小为130亿，包含了40个transformer层，每一个层是隐藏大小为5120的self-attention的blocks，前馈层数量20480。最长支持2048的序列。注意，业界收费的商业化代码补全工具Tabnine的长代码补全是一个收费特性！
|
|
|
+
|
|
|
+CodeGeeX模型大小为130亿，包含了40个transformer层，每一个层是隐藏大小为5120的self-attention的blocks，前馈层数量20480。最长支持2048的序列。注意，业界收费的商业化代码补全工具Tabnine的长代码补全是一个收费特性！
|
|
|
|
|
|
## 二、CodeGeeX的使用
|
|
|
CodeGeeX的代码和模型都是开放获取的，供大家研究使用。目前模型预训练结果已经提供下载申请，只需要大家填写如下内容即可：
|
