又不是 UA 的事。微信的環(huán)境有自己的東西,你要訪問的頁面,隨便一行 HAHAHA.XXX()
的調(diào)用,就可以判斷是不是微信環(huán)境。(因為瀏覽器是自己的, window
下有哪些 js api 都是自己控制的)
curl不會執(zhí)行js。你在瀏覽器里使用調(diào)試工具抓下請求響應(yīng),應(yīng)該是差不多的。
map函數(shù)返回的是一個生成器,你要把這個生成器初始化后再賦值給df:
def f(x):
if('k' in str(x)):
return int(x[:-1]) * 1000
return x
# 初始化為list再賦值
df['views'] = list(map(f,df['view']))
如果不行你再試試
df['views'] = np.array(list(map(f,df['view'])))
反正就是這個意思,你可以先在ipython中運行出來看看能不能賦值,再進(jìn)程序跑
你也可以把數(shù)據(jù)發(fā)給我,我?guī)湍銓懞?因為沒具體的數(shù)據(jù),我也不知道會出現(xiàn)啥情況2333333
apply函數(shù)我沒用過,學(xué)習(xí)了,我研究下,我用pandas用的也不多
多嘴一句:別迭代DataFrame,一般比較慢,迭代numpy的ndarry會快很多,原來寫程序發(fā)現(xiàn)的坑
這是一個非常常見的反爬策略,同一IP某一時間段訪問過于頻繁,限制請求多長時間
如果你對數(shù)據(jù)的時效性要求不高,可以設(shè)定請求間隔,比如0.5秒,1秒
如果對時效性要求比較高,則可以使用代理ip的方式
答案來了。
const axios = require('axios')
// 下面代碼發(fā)送一個post請求到一個服務(wù)器
axios.post('驗證驗證碼的目標(biāo)url', {
telephone: "17202345234" // 帶上手機號參數(shù)
})
.then(function (response) { // 后端處理成功,給你返回一個驗證碼數(shù)據(jù),數(shù)據(jù)通過response讀取
console.log(response.testnumber);
return axios.post('獲取驗證碼成功再發(fā)送一次請求的地址',{
password: "我是密碼",
telephone: "17202345234",
noteinfo: "我是備注"
})
})
.then(function(res){
//完成注冊了
console.log("注冊完成");
})
.catch(function (error) { // 如果請求失敗就走這里了
console.log(error);
});
這個因為excel會處理超過一定位數(shù)的大數(shù)字。解決方法可以試試在寫入前,將身份證那一列的數(shù)據(jù)類型強制轉(zhuǎn)換為字符串或者說object,即:
a['身份證號'] = a['身份證號'].astype('str')
試一試。
優(yōu)先級,只是優(yōu)先級而已,只是在其它各種情況都一致的情況下,多一點優(yōu)勢
什么破書……那個 choice 沒定義在那里,所以新版本不小心就沒了吧……
>>> from numpy.random import choice
>>> choice(['red', 'green'])
'red'
Request的參數(shù)名寫錯了 callback
array也好,object也罷,這都是具體語言在數(shù)據(jù)結(jié)構(gòu)上的實現(xiàn),你們在做“約定”這個事的時候,只需要關(guān)注用來網(wǎng)絡(luò)傳輸?shù)淖址袷绞荍SON還是XML就好了,具體的本地語言會把比如JSON轉(zhuǎn)譯成什么結(jié)構(gòu)不要去管,只需要確保JSON格式合法、并且你倆都能用就可以了。
先檢查拼接后的新網(wǎng)址有沒有問題?手動在瀏覽器中能不能打開。
A B
100 2
200 3
300 4
...
可以看成一個長這樣[100,100,200,200,200,300,300,300,300,...]
的list
。
可以使用numpy
的std()
來計算標(biāo)準(zhǔn)差,當(dāng)然自己寫公式也可以。比如
In [1]: import numpy as np
In [2]: np.std([100,100,200,200,200,300,300,300,300])
Out[2]: 78.56742013183862
正態(tài)分布圖只是正態(tài)分布的數(shù)據(jù)的分布圖。是否正態(tài)分布取決于你的數(shù)據(jù)??梢钥紤]用seaborn來繪制分布圖。
import seaborn as sns
sns.distplot([100,100,200,200,200,300,300,300,300])
分布圖長這樣:
可以用pandas
讀取。用一個循環(huán)將數(shù)據(jù)表轉(zhuǎn)為list:
import pandas as pd
df = pd.DataFrame({'A':[100,200,300],'B':[2,3,4]})
"""
df 像這樣
A B
0 100 2
1 200 3
2 300 4
"""
l = []
for i, j in zip(df['A'],df['B']):
tmp = [i]*j
l.extend(tmp)
"""
l 像這樣
[100, 100, 200, 200, 200, 300, 300, 300, 300]
"""
import requests
import json
url = 'http://fanyi.baidu.com/sug'
data = {'kw':'girl'}
res = requests.post(url, data=data)
content = json.loads(res.content.decode())
print(content)
plt是別的變量吧,試試在出錯一行上面加上
import matplotlib.pyplot as plt
用post提交表需要確認(rèn)服務(wù)器需要的數(shù)據(jù)項,然后組成json對。
requests.post(url=url, data=data)
我覺得樓主說的是data的提交。
一般用瀏覽器的開發(fā)者工具確認(rèn)網(wǎng)頁請求時候的方法,cookie,請求頭等等
也就是說data也可以在這里找到
模擬一次提交表的過程,就可以看到提交的參數(shù)項了
requests.post(headers=headers,params=json.dumps(payload),url=url)
嗯嗯嗯,用的payload。我錯了。。。
$arr = array(
array('id'=>'1','name'=>'a'),
array('id'=>'1','name'=>'b'),
array('id'=>'1','name'=>'c'),
array('id'=>'2','name'=>'d'),
array('id'=>'2','name'=>'e'),
);
$result = array();
foreach ($arr as $value) {
$result[$value['id']]['id'] = $value['id'];
$result[$value['id']]['name'][] = $value['name'];
}
$result = array_values($result);
print_r($result);
函數(shù)自己封裝吧
請?zhí)峁┮粋€可重復(fù)的例子
https代理在建立代理隧道之后只需要轉(zhuǎn)發(fā)原始報文就好了,這樣做代理服務(wù)器并不能拿到https明文,而中間人攻擊是能拿到明文的
可以看看https://segmentfault.com/a/11...
分頁方式應(yīng)由數(shù)據(jù)提供方定義
需要請對方開出對應(yīng)的分頁串接方式才行
rules是Rule的列表,所以你可以放多個規(guī)則不同的Rule
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團(tuán)創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團(tuán),成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。