項目瓶頸一般是數據庫,因為機器瓶頸可以用負載均衡器加很多機器解決,數據庫讀取的瓶頸可以用多個從庫來解決,可是并發(fā)寫入如何提高呢?特別是那種需要馬上得到插入結果的,不能用消息隊列解決的如何做呢?
個人一些看法:(什么語言都差不多的,我這邊是Java的)
省略前頭的部分內容,畢竟是比較簡單的演化過程
我們將session做成一個session服務器,browser1通過負載均衡請求服務器,服務器將session信息存儲到session服務器中,當想要獲取時就反向進行。(缺點:目前session Server是單點的,如何解決單點,保證可用性)
我們可以將Session Server也做成集群,其適合用于Session數量與web服務數量大的情況下,更改架構后,也要修改應用存儲session的業(yè)務邏輯。
接下來我們再看看數據庫,讀寫都要經過數據庫,當用戶量達到一定量時,數據庫又將成為一個瓶頸,則我們將如何解決?我們可以使用數據庫的讀寫分離,主從庫,并通過統(tǒng)一的數據訪問模型進行訪問,將所有讀操作引入到Slave服務器,將寫操作引入到主庫當中,由于數據庫讀寫分離,所以應用程序也要有相應的變化,使用數據訪問模塊讓應用程序開發(fā)人員不用理會讀寫分離的存在,這樣多數據源讀寫代碼對我們的業(yè)務就沒有了侵入(代碼層的演變,如何支持多數據源、如何封裝對業(yè)務沒有侵入、如何使用現用的ORM框架實現數據讀寫分離、是否更換ORM、其優(yōu)缺點?)
當我們訪問過大,I/O過大,我們數據的讀寫分離又將遇到這幾個問題,主從庫復制時是否延遲(分機房部署、跨機房傳輸),應用對于數據源的路由問題,接著我們?yōu)榱颂岣叻掌?,增加了CND和反向代理服務器,使用CDN可以解決不同地方訪問速度問題、反向代理可以在機房中緩存用戶的資源。
這時文件服務器又出現了瓶頸,我們將文件服務器改為分布式文件服務器集群,我們要考慮到:如何不影響線上的業(yè)務訪問,是否需要業(yè)務部門幫忙清理數據,是否需要備份服務器,是否需要重新做域名解析。
這時我們的數據庫又出現了新的瓶頸,我們選擇專庫專用的方式,進行數據庫的垂直拆分,可以解決寫數據、并發(fā)、量大的問題,分庫后又將帶來一些新的問題:跨業(yè)務的事務(分布式事務)
當某個數據的訪問量、數據量、日志等過大達到瓶頸時,這時我們就要進行數據庫的水平拆分,我們將User拆分成Users1和Users2,水平拆分即將同一個數據表的數據拆分到兩個數據庫當中,這時我們就解決了單數據庫的瓶頸。
水平拆分后,SQL路由出現一些問題,假設我們想知道某個用戶是存在Users1還是Users2中,且由于分庫,主鍵的策略也將有所不同,同時也將面臨一個分頁的問題(后臺管理系統(tǒng)在進行展示時還要考慮分頁的問題),當完成后,我們又發(fā)現應用服務器的搜索量上升,這時我們將應用服務器的搜索功能提取出來做成搜索引擎,同時部分場景使用NoSQL提高性能,
當然以上架構還存在部分問題,如負載均衡服務器是單點,因此也可以將負載均衡服務器做成集群,進行主從的熱備,同時做一個自動切換的解決方案。
過程中:安全性、數據分析、監(jiān)控、反作弊........
繼續(xù)發(fā)展:SOA架構、服務化、消息隊列、任務調度、多機房........
北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數據專業(yè)的國家
北大青鳥中博軟件學院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網學院和江蘇省首批服務外包人才培訓基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團創(chuàng)建于1999年,經過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術與教育服務機構,發(fā)展為教育服務業(yè)的綜合性企業(yè)集團,成為集合面授教學培訓、網
達內教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構,是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經理從事移動互聯(lián)網管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經理職務負責iOS教學及管理工作。
浪潮集團項目經理。精通Java與.NET 技術, 熟練的跨平臺面向對象開發(fā)經驗,技術功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網頁制作和網頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經驗。曾經歷任德國Software AG 技術顧問,美國Dachieve 系統(tǒng)架構師,美國AngelEngineers Inc. 系統(tǒng)架構師。