icrawlerで画像収集

Anaconda + icrawler

Anacondaの開発環境名を表示する

conda info -e

任意の環境をアクティベートする(mac)

source activate 環境名

icrawlerをインストール

pip install icrawler

pipでインストールしたパッケージを一覧表示

pip list

Bingでさがす

icrawlerライブラリを読み込んで、usagiディレクトリにbunnyの画像を最大50個あつめる

from icrawler.builtin import BingImageCrawler

crawler = BingImageCrawler(storage={"root_dir": 'usagi'})
crawler.crawl(keyword='bunny', max_num=50)

ファイルを実行すると指定したフォルダに画像があつまる

Googleでさがす

nekoフォルダにcat画像をあつめる

from icrawler.builtin import GoogleImageCrawler

crawler = GoogleImageCrawler(storage={"root_dir": "neko"})
crawler.crawl(keyword="cat", max_num=100)