加米谷大數(shù)據(jù)

第一階段（python基礎(chǔ)）

python入門 1、Python版本特性介紹 2、Python應(yīng)用場景及趨勢發(fā)展 3、Python開發(fā)環(huán)境搭建 4、Python開發(fā)工具及運(yùn)行環(huán)境 5、標(biāo)識符與關(guān)鍵字，注釋 6、Python在各系統(tǒng)中的安裝 7、應(yīng)用場景及數(shù)據(jù)存儲設(shè)計 8、Python程序開發(fā)基礎(chǔ)指南 9、如何運(yùn)行python代碼

python基本語法 1、Python選擇與循環(huán) 2、Python字符串處理 3、可視化python編程 4、數(shù)據(jù)及類型操作 5、Python對象、數(shù)字、序列 6、Python映射和集合類型 7、Python條件和循環(huán) 8、Python文件和輸入輸出 9、python錯誤和異常

python高級語法 1、函數(shù)和函數(shù)式編程 2、Python面向?qū)ο缶幊? 3、Python正則表達(dá)式 4、Python函數(shù)編程 5、Python多線程編程 6、Python圖形界面編程 7、Python數(shù)據(jù)庫編程創(chuàng)建 8、Python擴(kuò)展

Python編程開發(fā) 1、PYQT實現(xiàn)GUI工具 2、如何運(yùn)行python代碼 3、Python在Linux中的開發(fā) 4、GitHub的使用 5、python程序開發(fā) 6、Python api使用及二次開發(fā)

第二階段（關(guān)系型數(shù)據(jù)庫MySQL）

數(shù)據(jù)庫設(shè)計 1、數(shù)據(jù)庫設(shè)計及運(yùn)行管理 2、數(shù)據(jù)庫設(shè)計過程講解 3、概念結(jié)構(gòu)設(shè)計與ER圖 4、邏輯結(jié)構(gòu)設(shè)計與ER轉(zhuǎn)換規(guī)則 5、數(shù)據(jù)流圖與數(shù)據(jù)字典 6、數(shù)據(jù)庫設(shè)計物理模型 7、數(shù)據(jù)庫事務(wù)與隔離級別

數(shù)據(jù)庫范式及ACID特性 1、數(shù)據(jù)庫的范式的實例 2、數(shù)據(jù)庫設(shè)計三大范式應(yīng)用 3、數(shù)據(jù)庫管理系統(tǒng)事務(wù) 4、數(shù)據(jù)庫ACID的四大特性 5、數(shù)據(jù)庫四大特性應(yīng)用 6、分庫分表大數(shù)據(jù)解決方案 7、分庫分表實施與分析

數(shù)據(jù)庫基礎(chǔ) 1、數(shù)據(jù)庫概念介紹 2、MySQL安裝與登錄 3、數(shù)據(jù)庫創(chuàng)建與刪除 4、表結(jié)構(gòu)創(chuàng)建/查看 5、字段類型與數(shù)據(jù)類型 6、字段增加，重命名，刪除

視圖及索引 1、記錄的增加，修改，刪除 2、表查詢 3、條件查詢 4、模糊查詢 5、視圖創(chuàng)建與操作 6、索引創(chuàng)建與操作

第三階段（文檔數(shù)據(jù)庫MongoDB）

Mongodb初識與部署 1、Mongodb介紹 2、Mongodb應(yīng)用場景 3、Mongodb快速部署 4、Mongodb配置指南

Mongodb基本操作 1、Mongodb數(shù)據(jù)庫操作 2、Mongodb collection操作 3、Mongodb文檔操作

Mongodb高級操作 1、Mongodb存儲過程 2、Mongodb聚合管道 3、Mongodb批量寫 4、Mongodb MapReduce

Mongodb運(yùn)維與編程 1、Mongodb數(shù)據(jù)導(dǎo)入/導(dǎo)出/備份/恢復(fù) 2、Mongodb安全 3、Mongodb權(quán)限控制 4、Mongodb包引入 5、Mongodb Python API

第四階段（內(nèi)存數(shù)據(jù)庫Redis）

Redis精講 1、REDIS分布式緩存介紹 2、REDIS網(wǎng)絡(luò)模型與內(nèi)存管理 3、REDIS的數(shù)據(jù)一致性問題 4、REDIS支持的KEY類型 5、REDIS水平動態(tài)擴(kuò)展 6、REDIS數(shù)據(jù)淘汰策略

Redis操作 1、REDIS訪問工具 2、REDIS shell api

Redis編程 1、REDIS包引入 2、REDIS Python API

第五階段（網(wǎng)絡(luò)爬蟲）

urllib.lib庫 1、Python urllib認(rèn)識 2、urllib庫的基本操作 3、urllib基本get請求 4、urllib基本post請求 5、代理與API 6、超時配置與會話對象

requests庫 1、通過pip安裝requests 2、發(fā)送請求與傳遞參數(shù) 3、Response對象與文件上傳 4、身份驗證 5、Cookies與會話對象 6、超時與異常 7、CSS選擇器與bs4 8、BeautifulSoup基本介紹，安裝與基本語法 9、BeautifulSoup的基本運(yùn)算符與語法定位

css選擇器與Xpath 1、CSS選擇器基本使用 2、Xpath基本介紹 3、Xpath基本語法 4、XPath 軸與表達(dá)式 5、Xpath的基本運(yùn)算符 6、Xpath語法定位 7、常用的反爬蟲技術(shù)

爬蟲高級技術(shù) 1、多線程與多進(jìn)程爬蟲 2、代理設(shè)置與Cookie操作 3、動態(tài)網(wǎng)頁內(nèi)容的抓取 4、Selenium與PhantomJS 5、模擬表單登錄

第六階段（數(shù)據(jù)分析）

數(shù)據(jù)分析工具講解 1、numpy基本講解 2、scipy基礎(chǔ)認(rèn)識 3、pandas基本講解 4、jupyter基本認(rèn)識 5、matplotlib認(rèn)識 6、其他數(shù)據(jù)分析工具

數(shù)值計算包學(xué)習(xí) 1、數(shù)值計算包工具介紹 2、Numpy多維數(shù)組 3、數(shù)組的屬性與操作 4、基本的數(shù)組運(yùn)算 5、Scipy工作原理介紹 6、SciPy交互工作

數(shù)據(jù)處理包Pandas 1、本地環(huán)境安裝 2、加載工具庫 3、Pandas創(chuàng)建對象 4、操作行和塊 5、窺視數(shù)據(jù) 6、運(yùn)算符與表達(dá)式 7、缺失值處理、合并于分組

Pandas與數(shù)據(jù)庫 1、與SQL/Excel 對比 2、數(shù)據(jù)體量與工具選擇 3、范式中的切片與分組 4、Pandas索引與排序 5、Pandas數(shù)據(jù)回歸 6、文本轉(zhuǎn)化為虛擬變量

第七階段（數(shù)據(jù)處理）

數(shù)據(jù)清洗和準(zhǔn)備 1、數(shù)據(jù)質(zhì)量要求與來源 2、數(shù)據(jù)清洗原理 3、缺失數(shù)據(jù)處理 4、相似重復(fù)數(shù)據(jù)檢測 5、異常數(shù)據(jù)處理與邏輯錯誤檢測 6、數(shù)據(jù)清洗的模型 7、數(shù)據(jù)清洗框架和模型

數(shù)據(jù)處理：合并和重塑 1、合并數(shù)據(jù)集 2、數(shù)據(jù)DataFrame合并 3、數(shù)據(jù)軸向連接 4、重塑層次化索引 5、字符串對象方法 6、正則表達(dá)式運(yùn)用

數(shù)據(jù)匯總和組操作 1、數(shù)據(jù)樣本分位數(shù) 2、數(shù)據(jù)聚合運(yùn)算 3、面向列的多函數(shù)應(yīng)用 4、定義不同列的函數(shù) 5、通過函數(shù)進(jìn)行分組 6、分組運(yùn)算和轉(zhuǎn)換 7、透視表和交叉表

第八階段（數(shù)據(jù)分析處理進(jìn)階）

Matplotlib實踐 1、Matplotlib基本介紹 2、Matplotlib可視化包認(rèn)識 3、2D與3D圖表圖表使用 4、Matplotlib圖像顯示 5、Matplotlib應(yīng)用 6、從網(wǎng)絡(luò)加載數(shù)據(jù)

繪圖與可視化 1、圖例、標(biāo)題和標(biāo)簽 2、條形圖和直方圖 3、散點(diǎn)圖與堆疊圖 4、因子變量繪圖 5、各類復(fù)雜圖形繪制 6、多變量的可視化 7、多變圖形分析

統(tǒng)計學(xué)基礎(chǔ) 1、統(tǒng)計和統(tǒng)計數(shù)據(jù) 2、數(shù)據(jù)的圖表展示 3、數(shù)據(jù)的概括性度量 4、總量指標(biāo)和相對指標(biāo) 5、平均指標(biāo)和變異指標(biāo) 6、抽樣估計與假設(shè)檢驗 7、相關(guān)與回歸

時間序列分析基礎(chǔ) 1、時間序列及分析指標(biāo) 2、平穩(wěn)序列預(yù)測 3、趨勢性序列預(yù)測 4、復(fù)合序列因素分析 5、主要統(tǒng)計量 6、ARIMA模型 7、模型識別余參數(shù)估計

第九階段（項目實戰(zhàn)）

個人用戶信用評估 針對脫敏的幾十個維度的用戶數(shù)據(jù)，以及銀行提供的黑名單，建立個人用戶的信用評估模型；在建模過程中涉及到用戶數(shù)據(jù)缺失值處理，特征篩選，特征量化，類別不平衡策略，模型參數(shù)調(diào)優(yōu)；涉及到SPSS數(shù)據(jù)分析，pandas，sklearn工具的使用；通過該項目的學(xué)習(xí)，完整掌握各類數(shù)據(jù)分析軟件，分析流程以及相關(guān)算法。

運(yùn)營商數(shù)據(jù)統(tǒng)計分析 對運(yùn)營商用戶真實瀏覽記錄，利用瀏覽數(shù)據(jù)分類，以及爬蟲抓取數(shù)據(jù)擴(kuò)充標(biāo)簽，統(tǒng)計用戶瀏覽行為，給用戶貼上對應(yīng)標(biāo)簽，針對個人用戶以及群體用戶的特征，進(jìn)行相關(guān)數(shù)據(jù)推薦；涉及到數(shù)據(jù)全量與增量統(tǒng)計，實時計算，協(xié)同過濾等技術(shù)與算法，分布式爬蟲部署，以及反爬蟲策略；通過該項目學(xué)習(xí)，完整掌握數(shù)據(jù)抓取技術(shù)，海量數(shù)據(jù)實時計算，以及主流用戶推薦算法。

電商網(wǎng)站評價情感分析 針對某互聯(lián)網(wǎng)電商平臺上的商品數(shù)據(jù)，抓取其評論數(shù)據(jù)，進(jìn)行情感分析，并抽取評論關(guān)鍵詞，分析用戶最關(guān)心的商品問題；涉及到爬蟲知識，數(shù)據(jù)篩選，清洗，去重以及貝葉斯，LDA算法等；通過該項目的學(xué)習(xí)，加深對數(shù)據(jù)處理流程的理解以及對自然語言處理知識的認(rèn)識。

股票數(shù)據(jù)擬合與推薦 針對網(wǎng)上獲取的實時股票數(shù)據(jù)，利用多種方法對數(shù)據(jù)進(jìn)行短期擬合，評估擬合效果，并在擬合多支股票的基礎(chǔ)上，進(jìn)行有價值股票的推薦；涉及到時間序列數(shù)據(jù)擬合，預(yù)警等技術(shù)；通過該項目的學(xué)習(xí)，加深對時間序列分析與理解。