鍍金池/ 問答/ 數(shù)據(jù)分析&挖掘問答
莫小染 回答

直接用 瀏覽器離線模式吧,沒有必要寫爬蟲

枕頭人 回答

sudo chown -R $USER /usr/local 被這個(gè)問題困擾了三天得我,最終執(zhí)行了這個(gè)命令給這個(gè)文件夾加權(quán)限就行了

孤慣 回答

函數(shù)名錯(cuò)了,是get_media_requests

貓小柒 回答

看了一下源碼,得出以下結(jié)論:
1、對(duì)于每個(gè)depthresponse,對(duì)它進(jìn)行parse后發(fā)出的request的默認(rèn)priority-(depth+1);
2、scrapy的調(diào)度器隊(duì)列是一個(gè)PriorityQueue(優(yōu)先隊(duì)列,priority越小越先),這個(gè)隊(duì)列里的元素是一些LifoQueue,即你所說的后入先出隊(duì)列,每個(gè)LifoQueue都對(duì)應(yīng)著一個(gè)priority;
3、對(duì)于每個(gè)yieldrequest,調(diào)度器會(huì)把它push進(jìn)priority-request.priorityLifoQueue中。
愿你能理解我所說的。。。

歆久 回答

原因找到了,是因?yàn)?生成next_url太慢,即往redis push之后,立馬被pop了,才導(dǎo)致redis 沒有 requests的序列化,然后導(dǎo)致其他scrapy實(shí)例無法讀取request繼而無法同時(shí)進(jìn)行數(shù)據(jù)抓取。

離人歸 回答

不能用程序模擬,因?yàn)槲⑿诺卿浶枰ㄟ^微信的驗(yàn)證機(jī)制,如果那么容易用程序模擬,不就說明微信的認(rèn)證是有問題的嗎?

登陸是否能長期有效,和微信沒有關(guān)系,微信登錄的只是“認(rèn)證機(jī)制”,并不是真正的登錄,真正的登錄邏輯還是要你去實(shí)現(xiàn)的。
微信只是認(rèn)證用戶后會(huì)返回一個(gè)對(duì)平臺(tái)唯一的 unionid 和一些簡(jiǎn)單的微信用戶資料信息,用戶的登錄狀態(tài)需要你自己去維護(hù),登錄狀態(tài)的有效期你自己設(shè)置。
比如你可以微信認(rèn)證后保存一個(gè) session ,那么,瀏覽器關(guān)閉后,登錄狀態(tài)就結(jié)束了。
或者你可以返回一個(gè) cookie,可以隨便設(shè)置有效期。

初心 回答

http://echarts.baidu.com/opti...
sunburst沒有提供tooltip顯示item的name屬性,name在data中,所以可以在sunburst.data.emphasis設(shè)置

var data = [{
    name: 'Grandpa',
    emphasis: {
        itemStyle: {
            color: 'red'
        }
    },
    highlight: {
        itemStyle: {
            color: 'orange'
    }
    },
    downplay: {
        itemStyle: {
            color: '#ccc'
        }
    },
    children: [{
        name: 'Uncle Leo',
        value: 15,
        children: [{
            name: 'Cousin Jack',
            value: 2
        }, {
            name: 'Cousin Mary',
            value: 5,
            children: [{
                name: 'Jackson',
                value: 2
            }]
        }, {
            name: 'Cousin Ben',
            value: 4
        }]
    }, {
        name: 'Father',
        value: 10,
        children: [{
            name: 'Me',
            value: 5
        }, {
            name: 'Brother Peter',
            value: 1
        }]
    }]
}, {
    name: 'Nancy',
    children: [{
        name: 'Uncle Nike',
        children: [{
            name: 'Cousin Betty',
            value: 1
        }, {
            name: 'Cousin Jenny',
            value: 2
        }]
    }]
}];

option = {
    series: {
        type: 'sunburst',
        // highlightPolicy: 'ancestor',
        data: data,
        radius: [0, '90%'],
        label: {
            rotate: 'radial'
        }
    }
};
兔囡囡 回答

兄弟,有復(fù)制的時(shí)間,百度一下.網(wǎng)上太多了.

忠妾 回答

你描述問題的信息太少了,能不能詳細(xì)一點(diǎn),比如說哪個(gè)網(wǎng)站?lt是什么?

艷骨 回答

作業(yè)自己做

SQL join 用于根據(jù)兩個(gè)或多個(gè)表中的列之間的關(guān)系,從這些表中查詢數(shù)據(jù)。
http://www.w3school.com.cn/sq...
提示:city表的id需要和news表的city對(duì)應(yīng)

SQL group by 用于結(jié)合合計(jì)函數(shù),根據(jù)一個(gè)或多個(gè)列對(duì)結(jié)果集進(jìn)行分組。
http://www.w3school.com.cn/sq...
提示:需要按city分組

SQL count 返回在給定的選擇中被選的行數(shù)。
http://www.w3school.com.cn/sq...
提示:用count(1)也行,速度會(huì)稍微快一點(diǎn)

選擇 回答

1.是你里面var.csv 前的斜杠反了
2.如果不行,嘗試在引號(hào)前加個(gè)r, 表示轉(zhuǎn)義。

菊外人 回答

You can match other attributes like id or class, src.

怣痛 回答

好像實(shí)現(xiàn)不了,echarts的餅圖的線啊啥的沒有自定義的功能

話寡 回答
  1. $servername改成linode的ip地址
  2. linode上mysql的root用戶,允許遠(yuǎn)程訪問
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456'
  1. 檢查linode上my.cnf文件,綁定地址不能是127.0.0.1

你代碼都寫在div內(nèi)部了當(dāng)然會(huì)按你顯示的那樣。一般都是下面這樣寫。

    var vds = document.createElement('script')
    vds.type = 'text/javascript'
    vds.async = true
    vds.src = (document.location.protocol === 'https:' ? 'https://' : 'http://') +
      'assets.growingio.com/vds.js'
    var s = document.getElementsByTagName('script')[0]
    s.parentNode.insertBefore(vds, s)
朽鹿 回答

這有啥需要遞歸的, 一個(gè)for 加個(gè)if 判斷不就完事了。。。 或者你的想法沒有表達(dá)清楚?

字典取值
···python
for i in list:

if i["isEnd"] == no:
    request
else:
    break

···

離殤 回答

1.可能有關(guān)于瀏覽器指紋的js算法
2.chrome驅(qū)動(dòng)特征值

現(xiàn)在的技術(shù)發(fā)展太快了,切換IP已經(jīng)不是殺手锏了,各種特征值和指紋不需要匹配IP就可以ban你

陌顏 回答

直接過濾掉那個(gè)index不就可以了嗎

var arr = [{index: 1, a: "1", b: "2", c: "3", d: "4"},{index: 2, a: "4", b: "5", c: "6", d: "7"}];
var result = arr.filter(o=>o.index != 1);
console.log(result);