鍍金池/ 問答/GO/ 有沒有用過goquery的,我想用代理去爬蟲,goquery支持嗎?找了一下好像

有沒有用過goquery的,我想用代理去爬蟲,goquery支持嗎?找了一下好像沒找到

有沒有用過goquery的,我想用代理去爬蟲,goquery支持嗎?找了一下好像沒找到

回答
編輯回答
安于心

你方向想錯(cuò)了(姿勢錯(cuò)誤),goquery 并不是要做萬能的工具包

正確的姿勢應(yīng)當(dāng)是調(diào)用 net/http 的方法,然后設(shè)置代理
再在 goqueryNewDocumentFromReader 讀取 res.Body

代碼形式可以參照 官方 examples
把他想成一個(gè)個(gè)組件,合在一起

2017年2月25日 09:07
編輯回答
負(fù)我心

學(xué)爬蟲 就推薦倆:
https://github.com/henrylee2c...(重量級(jí))

http://go-colly.org/(小巧)

都有用到goquery,話說學(xué)go爬蟲基本都用到goquery,selector等基本是必學(xué)

2018年9月3日 02:40
編輯回答
萢萢糖

轉(zhuǎn)

 proxy, _ := url.Parse("http://x.x.x.x:8080")

    tr := &http.Transport{
        Proxy:           http.ProxyURL(proxy),
        TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
    }

    client := &http.Client{
        Transport: tr,
        Timeout:   time.Second * 5,
    }

    resp, err := client.Get("http://www.qiushibaike.com")
    if err != nil {
        fmt.Println(err)
        return
    }

    doc, err := goquery.NewDocumentFromResponse(resp)
    if err != nil {
        fmt.Println(err)
        return
    }
2018年4月1日 12:07