鍍金池/ 問(wèn)答/Linux/ centos下大文件壓縮很慢。 有一個(gè)一共100G大的目錄，里面有102個(gè)目錄，

centos下大文件壓縮很慢。 有一個(gè)一共100G大的目錄，里面有102個(gè)目錄，每個(gè)目錄大概800個(gè)小音頻文件。

centos下 有一個(gè)一共100G大的目錄，里面有102個(gè)目錄，每個(gè)目錄大概800個(gè)小音頻文件。
用tar czf壓縮半天多還不到一半兒，各種百度 找到了pigz 開(kāi)了16個(gè)worker去壓縮 一個(gè)小時(shí)壓了7個(gè)G
tar -cf - folder | pigz -p 16 >out.tgz
有沒(méi)有更好的方案快速壓縮的？服務(wù)器是微軟的云服務(wù)器 4核。

壓縮這么慢 我還得下載 還得解壓處理了。(沒(méi)有壓縮拉過(guò)同樣大小的 時(shí)間快到兩天多)。

大家有沒(méi)有更好的推薦方式

回答
編輯回答
氕氘氚

只tar不壓縮

2018年7月8日 08:44
編輯回答
脾氣硬

這種不需要保留 linux 文件屬性的情況下，不必使用 tar 工具，可改用 7z。

要不要壓縮主要取決于你的文件格式，你應(yīng)該先拿一部分文件試一下壓縮比例，若壓縮比過(guò)小，應(yīng)該放棄。
當(dāng)然壓縮時(shí)間也得考慮在內(nèi)。

建議開(kāi)啟 web 服務(wù)器，把待下載的頂層目錄加入 web 服務(wù)器的靜態(tài)路徑，然后在本機(jī)通過(guò)下載工具批量下載。

以 1M 帶寬來(lái)算，下載 100 G 需要大約 28 個(gè)小時(shí)。

2017年1月3日 07:15