鍍金池/ 問(wèn)答/數(shù)據(jù)分析&挖掘  Java  Python/ 關(guān)于 mysql 中的json 解析excel

關(guān)于 mysql 中的json 解析excel

圖片描述如何把非結(jié)構(gòu)化數(shù)據(jù)變成結(jié)構(gòu)化數(shù)據(jù)的excel

比如 如圖 我圈出來(lái)的是我抓取的非結(jié)構(gòu)化數(shù)據(jù)集 json
但是現(xiàn)在寫(xiě)到excel 里面是結(jié)構(gòu)化數(shù)據(jù)第(第二行必須和第一行的其他row 也對(duì)應(yīng)起來(lái))

這種怎么搞
圖片描述
圖片描述圖片描述

回答
編輯回答
我以為

瀉藥, 看起來(lái)你的問(wèn)題已經(jīng)解決了。
一個(gè)建議是,對(duì)于爬蟲(chóng)抓取類程序,我通常會(huì)選擇mongodb而非mysql這樣的關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ),有很多好處:

  1. 爬蟲(chóng)類程序一大難題在于被抓取的數(shù)據(jù)格式很多時(shí)候在你遇到問(wèn)題之前是無(wú)法預(yù)知的,mongo是nosql,字段靈活,一個(gè)集合當(dāng)中你插入的每一條文檔都可以有不同的key,查詢時(shí)按照mongo的那一套也完全沒(méi)問(wèn)題,如果sql系db添加一個(gè)字段可能涉及到整張table的修改
  2. mysql的優(yōu)勢(shì)在于事務(wù),適合成熟穩(wěn)定的業(yè)務(wù)類型,爬蟲(chóng)抓取存儲(chǔ)的一手?jǐn)?shù)據(jù)多數(shù)情況是臨時(shí)性的,往往會(huì)開(kāi)發(fā)第二層、第三層的查庫(kù)、篩選、清洗程序,那時(shí)你可以從mongo中取出需要的數(shù)據(jù)存入相應(yīng)的其他db滿足業(yè)務(wù)需求,或直接dump出excel
2018年1月5日 11:28
編輯回答
懶豬

問(wèn)題描述的不是很清楚,
如果存多列,先把所有要存的key列出來(lái),然后按key存,沒(méi)有就補(bǔ)缺省值。

2018年3月24日 22:49