1、先爬取数据。
2、在用python处理数据,下载图片。
3、sas工具定性分析。

liuyuqi-dellpc 9ff190de23 增加段子爬虫 4 weeks ago
crawl_xiaohua 9ff190de23 增加段子爬虫 4 weeks ago
data 094ecaf7e9 init 5 years ago
meizi e1fb44bb84 添加 妹子图 爬虫 3 years ago
mzsock 37bc9887fb Add 'mzsock/get_pic.py' 2 years ago
xiaohuar 500a4caf49 增加校花爬虫 1 month ago
.gitignore 9b59d0d1cc go on 1 month ago
LICENSE 6204c93e8a Initial commit 5 years ago
README.md e1fb44bb84 添加 妹子图 爬虫 3 years ago
requirements.txt e1fb44bb84 添加 妹子图 爬虫 3 years ago

README.md

xiaohua-crawl

目前本项目包含两个小项目:校花网爬虫,妹子网爬虫。后续爬取结果陆续发布,并定时追加更新。

1、 先爬取数据。数据存放到 data 文件夹。 2、 在用 python 处理数据,下载图片。 3、 sas 工具定性分析。

执行

校花网项目:

cd /d C:/Users/dell/Desktop/xiaohua-crawl
pip install -r requirements.txt
python xiaohua/main.py

妹子网项目:

> cd /d C:/Users/dell/Desktop/xiaohua-crawl/meizi
> sudo easy_install virtualenv
> virtualenv venv
> source venv/bin/activate
> python setup.py --requires | xargs pip install

* 妹子图:`python run.py crawl meizitu`
* coser `scrapy crawl coser -o items.csv -t csv`
* WorldCosplay `python worldcosplay.py 53056`

结果

1、 校花图片

爬了很多校花的靓照,以大学-名字命名,比如:上海师范大学天华学院-周雯琳。

2、 校花通讯录

爬了很多校花的详细资料,比如姓名,年龄,三围,学校,兴趣等等,最后统一做成通讯录形式。