鍍金池/ 問(wèn)答/人工智能  Python/ scrapy爬網(wǎng)站經(jīng)常抓取不到內(nèi)容是為什么?

scrapy爬網(wǎng)站經(jīng)常抓取不到內(nèi)容是為什么?

初學(xué)python爬蟲(chóng),用scrapy框架爬取豆瓣電影排行榜,無(wú)論是用response.xpath還是response.css都返回一個(gè)空數(shù)組,很無(wú)奈,這框架難道還需要其他設(shè)置嗎?
ps: python有沒(méi)有能像jq一樣易用的可以解析dom的框架?

代碼:

import scrapy
class ArticleTitle(scrapy.Spider):

name = "title"
start_urls = ["https://movie.douban.com/chart"]

def parse(self, response):

    lists = response.css("div.indent>table")
    for each in lists:
        contents = each.css("p.12>a::text").extrat()
        print(contents)

錯(cuò)誤截圖:
clipboard.png

回答
編輯回答
她愚我

clipboard.png
仔細(xì)看教程,你貌似漏了東西

2017年1月3日 14:35