問題來源于 https://segmentfault.com/q/10... 這里。看了@elarity 的回答,他使用了200000的元素插入到redis集合。于是乎我使用了1百萬個元素?cái)?shù)組來插入,在我這里是內(nèi)存溢出的,所以我使用了生成器的方式
function xrange() {
for ($i=0; $i<1000000; $i++) {
yield $i;
}
}
$r = xrange();
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
$key = 'jimu';
$redis->del($key);
$begin = microtime(true);
$redis->sadd($key, ...$r);
$end = microtime(true);
echo ($end - $begin) . "\n";
輸出結(jié)果:
[vagrant@localhost ~]$ php redis.php
1.2786898612976
[vagrant@localhost ~]$
然后redis-cli中確實(shí)有了一百萬個元素。那么當(dāng)我把代碼中的一百萬修改為一千萬的時候又報(bào)內(nèi)存溢出
[vagrant@localhost ~]$ php redis.php
PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 32 bytes) in /home/vagrant/redis.php on line 6
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 32 bytes) in /home/vagrant/redis.php on line 6
根據(jù)我理解的生成器知識不應(yīng)該出現(xiàn)內(nèi)存溢出的情況。因?yàn)樽允贾两K生成器xrange只占用一個變量($i)
內(nèi)存?
所以我猜測是不是$redis->sadd($key, ...$r);
這一步的時候...$r
依然會解析成大數(shù)組。 現(xiàn)在不知道如何證實(shí)。
補(bǔ)充:
我在sadd
之前使用var_dump(...$r);exit;
發(fā)現(xiàn)輸出的都是
int(999775)
int(999776)
int(999777)
int(999778)
int(999779)
int(999780)
int(999781)
這樣可以證明生成器確實(shí)是一個一個產(chǎn)出值的。那么為什么將...$r傳入到sadd()的時候還報(bào)內(nèi)存不足呢?不明白這個...
的原理,還請大佬們指點(diǎn)。
好久沒看到想答的問題了,來一波
a. 這個問題和redis毫無關(guān)系
b. 上代碼
<?php
//splat.php
function gen() {
global $argv;
$max = $argv[1];
while($max--) {
yield(str_repeat('x', 10000));
}
}
function noop() {
}
function getargs() {
$arg = func_get_args();
}
function splat(...$arg) {
}
function printmemory($msg) {
printf("%s: %d/%d\n", $msg, memory_get_usage(), memory_get_peak_usage());
}
printmemory(__LINE__);
$gen = gen();
printmemory(__LINE__);
foreach(gen() as $r) {
crc32($r);
}
printmemory(__LINE__);
$argv[2](...$gen);
printmemory(__LINE__);
~/Desktop $ php splat.php 10000 getargs
27: 357896/394272
29: 358504/394272
33: 370816/394272
35: 382912/123779064
~/Desktop $ php splat.php 10000 noop
27: 357896/394272
29: 358504/394272
33: 370816/394272
35: 382912/123250912
~/Desktop $ php splat.php 10000 splat
27: 357896/394272
29: 358504/394272
33: 370816/394272
35: 382912/123779064
~/Desktop $ php splat.php 1000 splat
27: 357896/394272
29: 358504/394272
33: 370816/394272
35: 382912/12695544
~/Desktop $ php splat.php 100 splat
27: 357896/394272
29: 358504/394272
33: 370816/394272
35: 382912/1607672
c. 解釋
27-29-33之間,幾乎沒有內(nèi)存占用,這是所謂的"生成器節(jié)省內(nèi)存”的現(xiàn)象,也就是各種相關(guān)文章里都會解釋的,在30行迭代生成器的時候,每次循環(huán)都會進(jìn)到生成器內(nèi)部去yield一次,產(chǎn)生一個大字符串,下次循環(huán)的時候循環(huán)變量又重新被賦值,之前的字符串自然會被GC回收,所以無論循環(huán)多大多少次,占用的內(nèi)存是穩(wěn)定的(包括上面的$gen=gen()
也是幾乎不占內(nèi)存的)
33-35,無論被調(diào)用的函數(shù)如何,甚至noop函數(shù),都一樣會占用大量內(nèi)存,占用內(nèi)存的量明顯和次數(shù)成正比,也就是說生成器的內(nèi)容被合并到一起而占用了一整塊內(nèi)存。這其實(shí)很容易解釋,幾乎的所有語言“調(diào)用函數(shù)”的過程都是類似的
(當(dāng)然省略了超級多的細(xì)節(jié),比如實(shí)參形參的映射/copy啊,內(nèi)存管理啊等等什么的,和本題無關(guān))
...$args
這個操作符其實(shí)影響的就是第一個階段,計(jì)算參數(shù)的時候,看到...操作符,就需要展開其中的參數(shù)來形成參數(shù)列表,那么用生成器的場合,這個階段內(nèi)存就從原有生成器的少量占用變成了完整的占用了,所以即使是空的noop
函數(shù)也會占用幾乎一樣多的內(nèi)存,你的理解是正確的
回到原題的那個redis問題的話,因?yàn)橹貜?fù)調(diào)用redis方法一定會占用大量的額外網(wǎng)絡(luò)開銷,而一次性批量插入又鐵定逃不開內(nèi)存占用(其實(shí)你想redis擴(kuò)展要發(fā)送這個批量的指令給redis,那么這塊內(nèi)存肯定是要的),比較好的方式就是分組了,每1000個或者10000個合并成一次$redis調(diào)用,mysql也好其他場景也是類似的
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團(tuán)創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機(jī)構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團(tuán),成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。