如果是按需求(不是差集)來實現(xiàn),可以將in_array換成array_search,如果查找成功,該函數(shù)會返回命中的key,如果在arr2中能找到,在刪除$arr1[$k]時,同時刪除$arr2[$idx]就行了,如果要保留$arr2,就copy一個數(shù)組來操作
foreach($arr1 as $k=>$v){
$idx = array_search($v,$arr2);
if($idx !== false){ //找到了
unset($arr1[$k]);
unset($arr2[$idx]);
}
}
df["kscj"] = df["kscj"].astype(str)
result = df[df.kscj.str.isdigit()]
時間復(fù)雜度是表示時間增長的趨勢啊...
把前后兩部分拆開來看
N! 和 2^n
誰的增速大就是誰
先進行非空判斷,在執(zhí)行業(yè)務(wù)邏輯,這個問題多半是沒有獲取到數(shù)據(jù)
不太明白你想做什么 可以封個函數(shù) 就如2樓的
建議修改你的 formatter_function,讓它忽略 NaN,這樣簡化代碼
return df.apply(formatter_function)
否則可以這樣
return df.apply(lambda c: c[~np.isnan(c)].apply(formatter_function))
已找到解決辦法。網(wǎng)頁中有段js是生成token的.
如下為生成器的 next() 函數(shù)的描述
開始生成器函數(shù)的執(zhí)行或者在最后一次執(zhí)行的yield表達式處恢復(fù)執(zhí)行。當(dāng)生成器函數(shù)使用next()方法恢復(fù)執(zhí)行時,當(dāng)前的yield表達式始終None。然后執(zhí)行繼續(xù)行進到下一個yield表達式,在那里生成器被再次掛起并返回expression_list的值給next()的調(diào)用者。
即你在第一次 yield 5 后,,這個時候 m= 這個賦值操作根本沒有執(zhí)行,然后,第二次使用 next 時, 當(dāng)前的 yield 表達式為 None,即 m=None
數(shù)組也是對象,不信[] instanceof Object
試試。for-in
遍歷的是鍵,而for-of
遍歷的是可迭代對象的值,你可以用for-in
遍歷對象和數(shù)組,但只能用for-of
遍歷數(shù)組。
先檢查拼接后的新網(wǎng)址有沒有問題?手動在瀏覽器中能不能打開。
外面的key 被里面的key覆蓋了把
把你不需要的變量設(shè)成None,把不需要的cell刪掉,import gc; gc.collect()
.*太多了,算法的時間太長
result = re.findall(pattern, content[15000:20000]) # 這個都是秒級的了,何況content長度134383
而且時間復(fù)雜度非線性 5000長度,3~4秒 134383長度,估計你跑一天能出來
建議分步正則,一次最好不要超過兩個.*,一步一步匹配出你要的結(jié)果
思路有點奇怪,urlList的鏈接也是自己放進去吧,放一個爬一個不就行了。什么時候不往urlList放鏈接爬蟲就停了。
你可以將這個spider類的代碼全部粘貼出來,更利于回答者發(fā)現(xiàn)問題。
從scrapy的統(tǒng)計日志中可以看出scrapy是正常結(jié)束爬取,不是因為隊列爆了。所以這里最可能的問題是 self.house_id_dict這個字典中 確實只有6472個key,而你說的20w的key,可能去重后是6472(猜的)
print("number of the id_dict is %s"%len(self.house_id_dict))
另外,這條語句輸出多少呢?
function zh2Number(digit) {
digit = digit.split('第')[1];
const zh = ['零', '一', '二', '三', '四', '五', '六', '七', '八', '九'];
const unit = ['千', '百', '十'];
const quot = ['萬', '億', '兆', '京', '垓', '秭', '穰', '溝', '澗', '正', '載', '極', '恒河沙', '阿僧祗', '那由他', '不可思議', '無量', '大數(shù)'];
let result = 0, quotFlag;
for (let i = digit.length - 1; i >= 0; i--) {
if (zh.indexOf(digit[i]) > -1) { // 數(shù)字
if (quotFlag) {
result += quotFlag * getNumber(digit[i]);
} else {
result += getNumber(digit[i]);
}
} else if (unit.indexOf(digit[i]) > -1) { // 十分位
if (quotFlag) {
result += quotFlag * getUnit(digit[i]) * getNumber(digit[i - 1]);
} else {
result += getUnit(digit[i]) * getNumber(digit[i - 1]);
}
--i;
} else if (quot.indexOf(digit[i]) > -1) { // 萬分位
if (unit.indexOf(digit[i - 1]) > -1) {
if (getNumber(digit[i - 1])) {
result += getQuot(digit[i]) * getNumber(digit[i - 1]);
} else {
result += getQuot(digit[i]) * getUnit(digit[i - 1]) * getNumber(digit[i - 2]);
quotFlag = getQuot(digit[i]);
--i;
}
} else {
result += getQuot(digit[i]) * getNumber(digit[i - 1]);
quotFlag = getQuot(digit[i]);
}
--i;
}
}
return '第' + result;
// 返回中文大寫數(shù)字對應(yīng)的阿拉伯?dāng)?shù)字
function getNumber(num) {
for (let i = 0; i < zh.length; i++) {
if (zh[i] == num) {
return i;
}
}
}
// 取單位
function getUnit(num) {
for (let i = unit.length; i > 0; i--) {
if (num == unit[i - 1]) {
return Math.pow(10, 4 - i);
}
}
}
// 取分段
function getQuot(q) {
for (var i = 0; i < quot.length; i++) {
if (q == quot[i]) {
return Math.pow(10, (i + 1) * 4);
}
}
}
}
zh2Number('第一百八十七'); // 第187
假設(shè)你的這段html代碼命名為s
from bs4 import BeautifulSoup
soup = BeautifulSoup(s, "lxml")
table = soup.find("table", {"class", "mod_table"}) # 獲得table,用class來限制唯一性
trs = table.find_all("tr")[1:-1] # 獲得table內(nèi)的各行,去除表頭(第一行)和頁碼(最后一行)
result = [tr.find_all("td")[4] for tr in trs] # 獲得每個tr里的所有td中的第5個(目標)
獲取html上的元素一般都可以用這種方法。
動態(tài)計算,使隨機的期望值在理論上符合你的要求即可。
當(dāng)然,最后的結(jié)果,不可能是嚴格的 10 分鐘。(如果要嚴格也可以,只是后面的變化,可能是 0 而已)
很簡單的歸并問題,目前剩余時間 T (時間可以轉(zhuǎn)化為“循環(huán)次數(shù)”,“間隔時間”等),相差的量是 S,那么當(dāng)前的變化量是一個關(guān)于 T
和 S
的函數(shù), 即 d(n) = f(T, S)
,變化之后,下一個 d
就是 d(n+1) = f(T - t, S - d)
。進一步,當(dāng) S <= 0
時, d = 0
。
給個進度條的例子,每次隨機值的變化程度是動態(tài)分頁數(shù)據(jù)的那個 stdDev
影響的:
<!DOCTYPE html>
<html lang="zh-cmn-Hans">
<head>
<meta charset="utf-8" />
<title>變化</title>
<link rel="stylesheet" type="text/css" href="" />
<script type="text/javascript" src="https://s.zys.me/js/jq/jquery.min.js"></script>
</head>
<body style="margin: 100px;">
<div id="bg" style="width: 800px; height: 30px; background-color: gray;">
<div id="bar" style="width: 50%; height: 30px; background-color: red;"></div>
</div>
<script type="text/javascript">
// http://www.cnblogs.com/zztt/p/4025207.html
// 抄的正態(tài)分布生成算法
function getNumberInNormalDistribution(mean, stdDev){
return mean + (randomNormalDistribution() * stdDev);
}
function randomNormalDistribution(){
var u=0.0, v=0.0, w=0.0, c=0.0;
do {
//獲得兩個(-1,1)的獨立隨機變量
u = Math.random() * 2 - 1.0;
v = Math.random() * 2 - 1.0;
w = u * u + v * v;
} while( w == 0.0 || w >= 1.0 )
//這里就是 Box-Muller轉(zhuǎn)換
c = Math.sqrt( (-2 * Math.log(w)) / w );
//返回2個標準正態(tài)分布的隨機數(shù),封裝進一個數(shù)組返回
//當(dāng)然,因為這個函數(shù)運行較快,也可以扔掉一個
//return [u*c,v*c];
return u * c;
}
</script>
<script type="text/javascript">
// 假設(shè)整個變化過程為 5000 毫秒時間, 總長度是 800px
var T = 5000;
var D = 800;
// 同時, 我們定每 100 毫秒變化一次, 則整個過程執(zhí)行完是 5000 / 100 = 50 次的變化
// 那么, 如果每次變化是平均的, 則期望值是 800 / 50 px 每次.
var PER = 100;
var N = T / PER;
var $n = $('#bar');
$n.width(0);
var width = 0;
function action(){
var n = getNumberInNormalDistribution(D / N, 10);
D -= n;
if(D <= 0){ $n.width('800px'); over(); return }
$n.width(width + n + 'px');
width += n;
N -= 1;
if(N <= 0){ $n.width('800px'); over(); return }
setTimeout(action, PER);
}
function over(){
console.log('over');
setTimeout(reset, 3000);
}
function reset() {
T = 5000; D = 800; PER = 100; N = T / PER;
$n.width(0);
width = 0;
action();
}
action();
</script>
</body>
</html>
你的根目錄是指到public目錄下嗎?
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團,成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達內(nèi)教育集團成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負責(zé)iOS教學(xué)及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。