這篇文章主要介紹“如何理解Scrapy關(guān)于item pipeline的傳遞方法”,在日常操作中,相信很多人在如何理解Scrapy關(guān)于item pipeline的傳遞方法問(wèn)題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”如何理解Scrapy關(guān)于item pipeline的傳遞方法”的疑惑有所幫助!接下來(lái),請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧!
成都創(chuàng)新互聯(lián)公司于2013年成立,先為貢嘎等服務(wù)建站,貢嘎等地企業(yè),進(jìn)行企業(yè)商務(wù)咨詢(xún)服務(wù)。為貢嘎企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。
當(dāng)Item在Spider中被收集之后,它將會(huì)被傳遞到Item Pipeline,這些Item Pipeline組件按定義的順序處理Item。
每個(gè)Item Pipeline都是實(shí)現(xiàn)了簡(jiǎn)單方法的Python類(lèi),比如決定此Item是丟棄而存儲(chǔ)。以下是item pipeline的一些典型應(yīng)用:
驗(yàn)證爬取的數(shù)據(jù)(檢查item包含某些字段,比如說(shuō)name字段)
查重(并丟棄)
將爬取結(jié)果保存到文件或者數(shù)據(jù)庫(kù)中
編寫(xiě)item pipeline很簡(jiǎn)單,item pipiline組件是一個(gè)獨(dú)立的Python類(lèi),其中process_item()方法必須實(shí)現(xiàn):
import somethingclass SomethingPipeline(object): def __init__(self): # 可選實(shí)現(xiàn),做參數(shù)初始化等 # doing something def process_item(self, item, spider): # item (Item 對(duì)象) – 被爬取的item # spider (Spider 對(duì)象) – 爬取該item的spider # 這個(gè)方法必須實(shí)現(xiàn),每個(gè)item pipeline組件都需要調(diào)用該方法, # 這個(gè)方法必須返回一個(gè) Item 對(duì)象,被丟棄的item將不會(huì)被之后的pipeline組件所處理。 return item def open_spider(self, spider): # spider (Spider 對(duì)象) – 被開(kāi)啟的spider # 可選實(shí)現(xiàn),當(dāng)spider被開(kāi)啟時(shí),這個(gè)方法被調(diào)用。 def close_spider(self, spider): # spider (Spider 對(duì)象) – 被關(guān)閉的spider # 可選實(shí)現(xiàn),當(dāng)spider被關(guān)閉時(shí),這個(gè)方法被調(diào)用
為了啟用Item Pipeline組件,必須將它的類(lèi)添加到 settings.py文件ITEM_PIPELINES 配置,就像下面這個(gè)例子:
# Configure item pipelines# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = { #'mySpider.pipelines.SomePipeline': 300, "mySpider.pipelines.ItcastJsonPipeline":300}
分配給每個(gè)類(lèi)的整型值,確定了他們運(yùn)行的順序,item按數(shù)字從低到高的順序,通過(guò)pipeline,通常將這些數(shù)字定義在0-1000范圍內(nèi)(0-1000隨意設(shè)置,數(shù)值越低,組件的優(yōu)先級(jí)越高)
將parse()方法改為入門(mén)簡(jiǎn)介中最后思考中的代碼,然后執(zhí)行下面的命令:
scrapy crawl itcast
查看當(dāng)前目錄是否生成teacher.json
到此,關(guān)于“如何理解Scrapy關(guān)于item pipeline的傳遞方法”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章!