crawl_yuque

crawl_yuque

语雀文档 一键导出 markdown

Develop

复制文档url，执行如下命令：

python main.py -url https://www.yuque.com/burpheart/phpaudit

./crawl_yuque -url https://www.yuque.com/burpheart/phpaudit

源码分析

运行 main.py，获取url参数调用requests获取源码，查找如下网页源码：

<script nonce=wJM6HFxGFWlvqbg5UT1h>
(function() {
  window.appData = JSON.parse(decodeURIComponent("%7B%22me%22%3A%7B%xxxx7D"));
})();
</script>

可以发现，云雀将内容存储在window.appData中，我们只需要将其转换为json格式，即可获取到所有的文章内容。

License

Licensed under the Apache 2.0 © liuyuqi.gov@msn.cn

Reference

目前有一些其他语言，如php,node 实现的采集工具，本项目实现的主要用途针对自己的项目，导出markdown文件，方便多平台同步。