工作中需要curl一個鏈接,需要登錄后才能返回關鍵字段。之前是直接curl,然后用保存后的cookie文件訪問,但是每頁只返回20條結(jié)果,而且太慢,每一次curl大概1s-1.3s,而且如果結(jié)果太多(最多50頁),curl就會超時。
后面限制了頁數(shù),即如果返回頁數(shù)大于5頁只讓其curl 5次,這樣雖然不至于太慢了,但是結(jié)果也少了。后面了解了curl_multi ,自己也試了,如果不用cookie這個多進程確實快了很多,原來curl 25次 大概28秒,多進程之后大概2秒,但是一旦加上cookie訪問,速度變得和普通curl一樣了,甚至略慢一點。不知道是不是我哪里寫的不對,附上代碼
// 請把代碼文本粘貼到下方(請勿用圖片代替代碼)
這個是普通curl
if($arr0['pcount']>1){
$arr[0]['total']['pcount']=$arr[0]['total']['pcount']>10?10:$arr[0]['total']['pcount'];
for ($i=2;$i<=$arr[0]['total']['pcount'];$i++){
//帶上cookie文件,訪問
$send_url='http://******.cn/ashx/GetList.ashx?pageIndex='.$i.'&keys='.htmlspecialchars($tj).'&Lx=3';
$ch = curl_init($send_url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
//curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_COOKIE, $cookie);
$contents[] = curl_exec($ch);
curl_close($ch);
}
$arr=array();
foreach($contents as $k=>$v){
$arr[$k]=(json_decode($v,true));
}
}
//這個是調(diào)用curl_multi的
if($arr[0]['total']['pcount']>1){
$chArr=[];
for($i=2;$i<=$arr[0]['total']['pcount'];$i++){
$chArr[$i] = "http://*****.cn/ashx/GetList.ashx?pageIndex=$i&keys=".htmlspecialchars($tj)."&Lx=3";
}
$result = $this->postMulti($chArr,$cookie);
$arr = array_merge($arr,$result);
}
//這個是curl_multi
public static function postMulti($chArr,$cookie)
{
$max_request = count($chArr);
$ch_list = array();
$multi_ch = curl_multi_init();
for ($i = 2;$i <= $max_request+1;$i++) {
$ch_list[$i] = curl_init($chArr[$i]);
curl_setopt($ch_list[$i], CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch_list[$i], CURLOPT_COOKIE,$cookie) ; //如果注釋此行返回結(jié)果則很快
curl_setopt($ch_list[$i], CURLOPT_TIMEOUT, 30);
//curl_setopt($ch_list[$i], CURLOPT_COOKIEFILE, $cookie_file);
curl_multi_add_handle($multi_ch, $ch_list[$i]);
}
$active = null;
do {
$mrc = curl_multi_exec($multi_ch, $active); //處理在棧中的每一個句柄。無論該句柄需要讀取或?qū)懭霐?shù)據(jù)都可調(diào)用此方法。
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
//Note:
//該函數(shù)僅返回關于整個批處理棧相關的錯誤。即使返回 CURLM_OK 時單個傳輸仍可能有問題。
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($multi_ch) != -1) {
//阻塞直到cURL批處理連接中有活動連接。
do {
$mrc = curl_multi_exec($multi_ch, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
//獲取http返回的結(jié)果
$true_request = 0;
foreach ($ch_list as $k => $ch) {
$result[] = curl_multi_getcontent($ch);
curl_multi_remove_handle($multi_ch,$ch);
curl_close($ch);
if ($result == 1) {
$true_request += 1;
}
}
curl_multi_close($multi_ch);
foreach($result as $k=>$v){
$arr[$k]=(json_decode($v,true));
}
return $arr;
}
開個腦洞:
北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學院和江蘇省首批服務外包人才培訓基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術與教育服務機構,發(fā)展為教育服務業(yè)的綜合性企業(yè)集團,成為集合面授教學培訓、網(wǎng)
達內(nèi)教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構,是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經(jīng)理職務負責iOS教學及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術, 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術顧問,美國Dachieve 系統(tǒng)架構師,美國AngelEngineers Inc. 系統(tǒng)架構師。