鍍金池/ 問答/數(shù)據(jù)分析&挖掘  Python/ 一列數(shù)據(jù)是頻率的統(tǒng)計(jì)問題?

一列數(shù)據(jù)是頻率的統(tǒng)計(jì)問題?

有一個(gè)樣本,a列是數(shù)字,b列是該數(shù)字出現(xiàn)的次數(shù),樣本很大,要求這個(gè)樣本的標(biāo)準(zhǔn)差和正態(tài)分布圖,請問用python應(yīng)該怎樣處理?查了很多,還是不太懂...
A B
100 2
200 3
300 4
... ...

回答
編輯回答
赱丅呿

關(guān)于數(shù)據(jù)

A B
100 2
200 3
300 4
...

可以看成一個(gè)長這樣[100,100,200,200,200,300,300,300,300,...]list。

標(biāo)準(zhǔn)分布

可以使用numpystd()來計(jì)算標(biāo)準(zhǔn)差,當(dāng)然自己寫公式也可以。比如

In [1]: import numpy as np
In [2]: np.std([100,100,200,200,200,300,300,300,300])
Out[2]: 78.56742013183862

分布圖

正態(tài)分布圖只是正態(tài)分布的數(shù)據(jù)的分布圖。是否正態(tài)分布取決于你的數(shù)據(jù)??梢钥紤]用seaborn來繪制分布圖。

import seaborn as sns
sns.distplot([100,100,200,200,200,300,300,300,300])

分布圖長這樣:

圖片描述

大數(shù)據(jù)量

可以用pandas讀取。用一個(gè)循環(huán)將數(shù)據(jù)表轉(zhuǎn)為list:

import pandas as pd
df = pd.DataFrame({'A':[100,200,300],'B':[2,3,4]})
"""
df 像這樣

     A  B
0  100  2
1  200  3
2  300  4
"""

l = []
for i, j in zip(df['A'],df['B']):
    tmp = [i]*j
    l.extend(tmp)
    
"""
l 像這樣
[100, 100, 200, 200, 200, 300, 300, 300, 300]
"""
2017年11月24日 17:36
編輯回答
涼薄

雖然 @Leo黎詩霆 同學(xué)的方法可以解決問題,但算不上高效率,也沒有充分利用 numpy 類庫的矩陣運(yùn)算能力。

以下提供更為簡潔、高效的方法,希望同學(xué)們從中理解 numpy 矩陣運(yùn)算的精妙。

假設(shè)你已經(jīng)知道如何計(jì)算一組數(shù)的標(biāo)準(zhǔn)差,否則請看 https://zh.wikipedia.org/zh-h...

對于一組數(shù) [ 100, 200, 300 ] ,及其對應(yīng)的個(gè)數(shù) [ 1, 2, 3 ]

import pandas as pd
import matplotlib.pyplot as plt

df = pd.DataFrame({
    'a': [100, 200, 300], 
    'b': [1, 2, 3],         # a 列對應(yīng)元素的個(gè)數(shù)
})

# n 為樣本總數(shù), m 為平均值, sd 為標(biāo)準(zhǔn)差
n = df.b.sum()
m = (df.a * df.b).sum() / n
sd = ((df.b * ((df.a - m) ** 2)).sum() / n) ** 0.5

# 繪制直方圖
plt.hist(df.a, weights=df.b)
2018年5月29日 19:10