crawl_xiaohua

xiaohua_crawl

目前本项目包含两个小项目：校花网爬虫，妹子网爬虫。后续爬取结果陆续发布，并定时追加更新。

1、 先爬取数据。数据存放到 data 文件夹。 2、 在用 python 处理数据，下载图片。 3、 sas 工具定性分析。

crawl_xiaohua

xiaohua.com 爬虫，获取美女图片

Development

Read this Development document.

执行

校花网项目：

cd /d C:/Users/dell/Desktop/xiaohua-crawl
pip install -r requirements.txt
python xiaohua/main.py

妹子网项目：

> cd /d C:/Users/dell/Desktop/xiaohua-crawl/meizi
> sudo easy_install virtualenv
> virtualenv .venv
> source .venv/bin/activate
> python setup.py --requires | xargs pip install

* 妹子图：`python run.py crawl meizitu`
* coser `scrapy crawl coser -o items.csv -t csv`
* WorldCosplay `python worldcosplay.py 53056`

结果

1、 校花图片

爬了很多校花的靓照，以大学-名字命名，比如：上海师范大学天华学院-周雯琳。

2、 校花通讯录

爬了很多校花的详细资料，比如姓名，年龄，三围，学校，兴趣等等，最后统一做成通讯录形式。