読者です 読者をやめる 読者になる 読者になる

たなちの開発日誌

プログラミングのメモを中心に気になったことを書いていきます。

scrapy

【scrapy】 Request Objectについて忘備録

scrapyの結果をyieldで返しているのだが、FormRequestがどんなものなのか気になった。 RequestObjectがわかっていなかったのでメモ。 公式ドキュメント:Requests and Responses — Scrapy 1.3.0 documentation Request objects class scrapy.http.Request(ur…

【scrapy入門】インストールからspider実行まで

scrapyとはWebCrawlerのフレームワークのひとつ。 WebCrawlerとは、ロボット型検索エンジンがWEB上のファイル(HTML文書だけでなく、画像・PDFまで含む全般)を収集するためのプログラムのこと。 参考: クローラーとは | SEO用語集:意味/解説/SEO効果など …