該小節(jié)與上一節(jié)差不多,繼續(xù)以介紹為主.數據模型訓練材料是指通過爬蟲爬取的具有關聯(lián)性的特定數據來作為各種數據模型的訓練材料,從而得出各種結論.這類用途因為涉及到很多計算模型的專業(yè)知識,所以我們通過社會輿論分析,機器翻譯,地域性特征圖這幾個例子為重點,來講講我們會在什么時候用上這些技術。
網絡輿論分析
首先,我們了解下什么叫網絡輿論.就是在一件事發(fā)生后,在社交網絡上面形成主流的一類輿論,通常可以代表大部分網民在這件事上的態(tài)度。我們通過從各類SNS中抓取的大批量數據通過自然語言分析(NLP)來來得到其中所代表的社會情感.比如我在第一章里提到的那篇著名論文,就是通過抓取了推特上億條信息后推算出的.這種結論能一般代表SNS上的民意,可以成為各種論文所引用的對象以及公司決策的輔助.舉個例子,下圖為新浪微輿情在某件事中根據自身微博中網友的留言得出的分析結論.此下圖是通過新浪自身的情感研判模型得出的網絡輿論對該起事件的情感判定.
機器翻譯
機器翻譯就是不依靠人工,通過輸入人工翻譯的大量語料,然后做出統(tǒng)計模型,讓計算機盡可能地熟悉別人是怎么翻譯的,從而耳濡目染,領悟到該如何翻譯。而這大量語料就是我們通過爬蟲在網上抓取的各種雙語翻譯。例如如今的Google翻譯,百度翻譯和必應翻譯都是如此而來的.只所以說,如果你對此有興趣也可以嘗試自己搭建一個翻譯引擎.只不過像谷歌百度都是用十億級別的數據訓練出來的,如果你只輸入幾千語料的話,可能結果會不有點半生不熟。
和第一種方法一樣,這種方法也只是介紹,不涉及具體學習模型.有關機器學習以及模型的訓練,請參照其他論文。感謝.
而第三種方法因為平日里大家見得最多,我就在這里的結尾給帶過去好了.所謂數據可視化,其實是通過類似于echarts,highcharts,G6,D3這些js庫或者是各自商業(yè)數據分析軟件,得出一些我們需要的結論。而這些結論可以來闡明我們想要敘述的觀點和作為我們論文中觀點的佐證。比如說,我們可以通過echarts或者highcharts內的地圖模塊來畫一張全國城市霧霾分布圖,通過G6來畫出一張微博關系圖,通過D3畫出一些直方圖之類的,還有詞云,出行圖等等一系列的作用.如下就是一張通過使用可視化庫搭建而成的全國城市霧霾分布圖.