你沒錢了，提醒你充值

sf_remember在cookie里面，而且不是httpOnly的，js可以讀到

這是一個非常常見的反爬策略，同一IP某一時間段訪問過于頻繁，限制請求多長時間
如果你對數(shù)據(jù)的時效性要求不高，可以設(shè)定請求間隔，比如0.5秒，1秒
如果對時效性要求比較高，則可以使用代理ip的方式

當(dāng)你使用一個IP代理的時候請測試當(dāng)前IP是否能夠正常訪問
檢查 r.status_code 是否等于20X 如果是那么說明這個IP代理是能夠正常使用的

import requests

r = requests.get(url=url,proxies=proxies)
r.status_code 

不建議使用 urllib 庫，推薦 requests 庫

import requests
response = requests.get('https://www.baidu.com/')
response.encoding = 'utf-8'
print(response.text)

看起來是字符串的編碼問題，請把所有字符串轉(zhuǎn)成 unicode 試一下。

In [24]: import numpy as np

In [25]: np.full((2,2,3), [100,255,100])
Out[25]: 
array([[[100, 255, 100],
        [100, 255, 100]],

       [[100, 255, 100],
        [100, 255, 100]]])

建議你 看下 Rstan 關(guān)于 Garch 的例子，可以直接復(fù)用

https://github.com/stan-dev/e...

分頁方式應(yīng)由數(shù)據(jù)提供方定義
需要請對方開出對應(yīng)的分頁串接方式才行

1. 控制請求頻率。例如 隨機等待1-5秒請求一次
2. 走代理

import random
import pygal

class Die:
    """
    一個骰子類
    """
    def __init__(self, num_sides=6):
        self.num_sides = num_sides
        
    def roll(self):
        return random.randint(1, self.num_sides)

die = Die()
result_list = []
# 擲1000次
for roll_num in range(1000):
    result = die.roll()
    result_list.append(result)
    
frequencies = []
# 范圍1~6，統(tǒng)計每個數(shù)字出現(xiàn)的次數(shù)
for value in range(1, die.num_sides + 1):
    frequency = result_list.count(value)
    frequencies.append(frequency)
    
# 條形圖
hist = pygal.Bar()  # 默認(rèn)的style就是白色背景
hist.title = 'Results of rolling one D6 1000 times'
# x軸坐標(biāo)
hist.x_labels = [1, 2, 3, 4, 5, 6]
# x、y軸的描述
hist.x_title = 'Result'
hist.y_title = 'Frequency of Result'
# 添加數(shù)據(jù)， 第一個參數(shù)是數(shù)據(jù)的標(biāo)題
hist.add('D6', frequencies)
# 直接渲染到瀏覽器
hist.render_in_browser()

你是不是定義style了？

from pygal.style import DarkStyle
hist = pygal.Bar(style=DarkStyle) # 這個是你的黑色背景
hist.title = 'Results of rolling one D6 1000 times'
# x軸坐標(biāo)
hist.x_labels = [1, 2, 3, 4, 5, 6]
# x、y軸的描述
hist.x_title = 'Result'
hist.y_title = 'Frequency of Result'
# 添加數(shù)據(jù)， 第一個參數(shù)是數(shù)據(jù)的標(biāo)題
hist.add('D6', frequencies)
# 直接渲染到瀏覽器
hist.render_in_browser()

實在不行把背景清了

from pygal.style import CleanStyle
hist = pygal.Bar(style=CleanStyle) # 清除背景

少了REngine.jar這個jar包或者存在不同版本。

Apache POI,專門處理這個的

換 IP 已經(jīng)超出 selenium 的范圍，常見的手法如重新?lián)芴?、更換代理服務(wù)器等等。

node環(huán)境下用phantomjs是可以的。所有前端渲染的網(wǎng)站都適用。

以往的渲染頁面都是靜態(tài)的，給用戶看的都是加載好的，所以很容易爬，現(xiàn)在都是頁面動態(tài)渲染的，需要有一個模擬環(huán)境，執(zhí)行后再爬取

import requests
import json

url = 'http://fanyi.baidu.com/sug'
data = {'kw':'girl'}
res = requests.post(url, data=data)
content = json.loads(res.content.decode())
print(content)

你這個是跑到最后一頁，沒有下一頁的鏈接所以提取不出來了吧。。。

這個問題是不是跟你的需求一致？
https://stackoverflow.com/que...

numpy 的 random 機制和 Python 標(biāo)準(zhǔn)庫的 random 模塊機制是一樣的，當(dāng)我們設(shè)置相同的 seed，每次生成的隨機數(shù)相同。
如果不設(shè)置 seed，則每次會生成不同的隨機數(shù)。
這里引用 stackoverflow 上的最高票解答

>>> numpy.random.seed(0) ; numpy.random.rand(4)
array([ 0.55,  0.72,  0.6 ,  0.54])
>>> numpy.random.seed(0) ; numpy.random.rand(4)
array([ 0.55,  0.72,  0.6 ,  0.54])

Request的參數(shù)名寫錯了 callback