|
|
@@ -1,6 +1,6 @@
|
|
|
# CodeGeeX
|
|
|
|
|
|
-一、CodeGeeX简介
|
|
|
+## 一、CodeGeeX简介
|
|
|
这是一个具有130亿个参数的大型多语言代码生成模型，它预先经过20多种编程语言的大型代码库的训练。截至2022年6月22日，CodeGeeX已经在1536个Ascend 910 AI处理器集群上接受了8500多亿tokens的训练。
|
|
|
|
|
|
该模型的VS Code插件目前一周内被调用25万次左右，并上榜VSCode Weekly，十分火爆。
|
|
|
@@ -16,7 +16,7 @@
|
|
|
|
|
|
需要注意的是，CodeGeeX模型大小为130亿，包含了40个transformer层，每一个层是隐藏大小为5120的self-attention的blocks，前馈层数量20480。最长支持2048的序列。注意，业界收费的商业化代码补全工具Tabnine的长代码补全是一个收费特性！
|
|
|
|
|
|
-二、CodeGeeX的使用
|
|
|
+## 二、CodeGeeX的使用
|
|
|
CodeGeeX的代码和模型都是开放获取的，供大家研究使用。目前模型预训练结果已经提供下载申请，只需要大家填写如下内容即可：
|
|
|
|
|
|
|
|
|
@@ -30,7 +30,7 @@ VS Code插件地址：https://marketplace.visualstudio.com/items?itemName=aminer
|
|
|
预训练模型申请地址：https://models.aminer.cn/codegeex/download/request
|
|
|
GitHub地址：https://github.com/THUDM/CodeGeeX
|
|
|
|
|
|
-三、CodeGeeX的国产化支持
|
|
|
+## 三、CodeGeeX的国产化支持
|
|
|
此外，有一个问题也特别引起注意。该模型是在“鹏城实验室”中的“鹏城云脑II”中训练的，这个集群使用的是国产昇腾的AI处理器Ascend 910 AI Processors。该处理器由华为设计，属于国产硬件生态系统中的重要参与者。而模型的编写框架用的是华为自研深度学习框架MindSpore。而推理端则支持Ascend 910, NVIDIA V100 或者 A100，都是高端AI芯片。
|
|
|
|
|
|
该模型由清华大学研究人员发布，多方面采用国产化软硬件系统。从效果上看十分优秀，也对国产的软硬件生态的繁荣有实质的支持。希望项目可以好好发展，后续也可以收费以确保项目能够占领市场，进而可以继续推动国产化成果的影响力。
|
