天津市統(tǒng)計局 數(shù)據(jù)管理與大數(shù)據(jù)應用平臺
卓朗科技為天津市統(tǒng)計局建設的數(shù)據(jù)管理與應用系統(tǒng)充分利用大數(shù)據(jù)平臺的存儲與計算能力，高效整合天津市統(tǒng)計局現(xiàn)有數(shù)據(jù)資源，建立基礎數(shù)據(jù)庫和宏觀數(shù)據(jù)庫。實現(xiàn)系統(tǒng)間的平滑切換、互聯(lián)互通，并利用駕駛艙方式實現(xiàn)統(tǒng)計數(shù)據(jù)的綜合展現(xiàn)，即席查詢、全文檢索等功能。
同時，系統(tǒng)以大數(shù)據(jù)平臺為基礎，以敏捷BI工具為支撐，將定制化流程貫穿統(tǒng)計工作始終，形成了一體化的統(tǒng)計數(shù)據(jù)管理與應用平臺。如此全面的整合統(tǒng)計業(yè)務，在全國尚屬首次，系統(tǒng)幫助天津市統(tǒng)計局全面提升統(tǒng)計工作信息化水平，增強統(tǒng)計數(shù)據(jù)處理能力、提高統(tǒng)計數(shù)據(jù)質(zhì)量、提升政府統(tǒng)計工作公信力。
業(yè)務挑戰(zhàn)
-
應用系統(tǒng)多且效率低下，對統(tǒng)計數(shù)據(jù)的收集、處理、存檔手段陳舊，數(shù)據(jù)開發(fā)、挖掘程度落后，數(shù)據(jù)預處理邏輯復雜，處理速度緩慢，缺乏企業(yè)畫像和全局檢索的技術手段；
-
系統(tǒng)平臺還停留在傳統(tǒng)的關系型數(shù)據(jù)庫模式，欠缺大數(shù)據(jù)技術應用，統(tǒng)計時效性差，歸檔數(shù)據(jù)格式標準不統(tǒng)一，入庫難、分析不夠深入、監(jiān)測及時性不足等問題比較突出；
-
伴隨著納入管理的指標日益繁雜、數(shù)據(jù)結(jié)構(gòu)不斷異化、數(shù)據(jù)總量急速增長，傳統(tǒng)信息化存儲方式和計算能力已不適應統(tǒng)計應用的需要。同時，“數(shù)據(jù)孤島”、重復建設、資源浪費和計算能力弱等問題也逐步顯現(xiàn)，統(tǒng)計信息化進程遇到了瓶頸。
解決方案
-
運用以hadoop為底層技術架構(gòu)的集群，以成熟的BI工具作為輔助，并引入了統(tǒng)計相關的模型算法，軟件定制化流程貫穿始終。
-
數(shù)據(jù)傳輸方面 利用先進的數(shù)據(jù)傳輸手段，實現(xiàn)大數(shù)據(jù)平臺無障礙接收各種格式的數(shù)據(jù)，其中主要包含的格式有：一切使用jdbc方式傳輸?shù)年P系型數(shù)據(jù)庫，以及csv，txt，dmp等；
-
數(shù)據(jù)處理方面 數(shù)據(jù)處理流程實現(xiàn)自動化，原來需要2天才能完成的數(shù)據(jù)處理工作，被壓縮到2個小時以內(nèi)，極大提升了工作效率；
-
數(shù)據(jù)展現(xiàn)方面 健全的各類報表制作功能，充分滿足統(tǒng)計局業(yè)務人員個性化業(yè)務需要，實現(xiàn)即席查詢的落地，以及各類圖表、駕駛艙等多種個性化展現(xiàn)形式，滿足不同用戶的需要；
-
全文檢索方面 建立完整的字典庫，統(tǒng)一元數(shù)據(jù)，為實現(xiàn)全文檢索打下良好基礎。
客戶價值
-
全國第 一個統(tǒng)計局大數(shù)據(jù)落地項目，開創(chuàng)了借助大數(shù)據(jù)技術創(chuàng)新統(tǒng)計工作的先河，解決方案在行業(yè)中可復制性強；
-
打破信息之間的“壁壘”，消除“信息孤島”，真正實現(xiàn)信息資源共享，最 大限度地滿足常規(guī)統(tǒng)計、尤其是國民經(jīng)濟核算的數(shù)據(jù)需求；
-
實現(xiàn)統(tǒng)計數(shù)據(jù)標準統(tǒng)一，構(gòu)建和完善智能決策系統(tǒng)的理論基礎和理論體系，實現(xiàn)政府數(shù)據(jù)交流的網(wǎng)絡平臺架構(gòu)、網(wǎng)絡數(shù)據(jù)的安全和保密、數(shù)據(jù)分析和應用體系的軟件設計和完善；
-
通過對大數(shù)據(jù)標準化和規(guī)范化技術的研究，形成大數(shù)據(jù)統(tǒng)計標準和方法體系，改進統(tǒng)計調(diào)查方法和數(shù)據(jù)采集手段；
-
建立數(shù)據(jù)質(zhì)量管控和評估機制，探索、掌握并應用大數(shù)據(jù)挖掘的新技術、新手段，提升數(shù)據(jù)利用的價值，提高數(shù)據(jù)分析能力，完善數(shù)據(jù)發(fā)布手段，建成一體化統(tǒng)計大數(shù)據(jù)服務體系。