鍍金池/ 問(wèn)答/數(shù)據(jù)分析&挖掘  Python/ python3爬蟲重復(fù)返回第一頁(yè)

python3爬蟲重復(fù)返回第一頁(yè)

預(yù)爬取“i春秋”課程欄目?jī)?nèi) 16頁(yè)中的所有課程名稱。
網(wǎng)頁(yè)采取的是POST。
簡(jiǎn)單地用requests模塊寫出了文件,然而返回結(jié)果全是i春秋的第一頁(yè)的課程名稱。
請(qǐng)問(wèn)是我代碼問(wèn)題還是i春秋的防爬機(jī)制比較強(qiáng)?
希望大佬們能給點(diǎn)指導(dǎo),代碼我就貼下面了。

import requests
import json

url_begining = 'https://www.ichunqiu.com/courses/ajaxCourses?IsExp=&courseDiffcuty=&courseTag=&orderDirection=&orderField=&pageIndex='

def request_all(url):
    print(url)
    headers = {
        
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Host':    'www.ichunqiu.com',
        'Referer': 'https://www.ichunqiu.com/courses',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:56.0) Gecko/20100101 Firefox/56.0',
        'X-Requested-With':    'XMLHttpRequest',

    }

    r = requests.get(url = url, headers = headers2)
    
    data = json.loads(r.text)

    name_long = len(data['course']['result'])

    for i in range(name_long):
        print(data['course']['result'][i]['courseName'])


for i in range(1,17):
    url = url_begining + str(i) + '&producerId=&tagType='
    request_all(url)
回答
編輯回答
近義詞

因?yàn)槟愕恼?qǐng)求方法不正確,網(wǎng)址要求的是post請(qǐng)求方式,請(qǐng)?jiān)僭囈淮伟?/p>

2018年2月6日 14:45