bilibili 用户/视频/弹幕/评论爬虫,分析。

liuyuqi 8df3074202 Merge branch 'feature/video' of lyq/crawl_bilibili into master 6 years ago
barrage 76b8988c41 完成视频和弹幕抓取 6 years ago
conf dc982a6fba init 6 years ago
user 76b8988c41 完成视频和弹幕抓取 6 years ago
utils dc982a6fba init 6 years ago
video 76b8988c41 完成视频和弹幕抓取 6 years ago
.gitignore cbb5ccefb4 user 基本完成 6 years ago
README.md 76b8988c41 完成视频和弹幕抓取 6 years ago
requirements.txt 76b8988c41 完成视频和弹幕抓取 6 years ago
threads.py dc982a6fba init 6 years ago

README.md

crawl_bilibili

bilibili 爬虫,主要涉及:

用户公开数据(用户/性别/地区/注册时间/)

视频数据()

弹幕数据()

评论数据()

付费数据()

使用

启动数据库,这里启动一个 mysql 容器就好了。

docker volume create --name datadir
docker run --name my-mysql -v datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d daocloud.io/mysql:5.7.4
  • 抓取用户

    cd crawl_bilibili
    python user/get_user.py
    python user/get_face.py
    
  • 抓取视频

    python video/get_video.py
    
  • 抓取视频弹幕

    python barrage/get_barrage.py
    
  • 数据分析

更新历史