久久91精品国产一区二区三区,久久久人妻一区精

作者：左大鵬（四川省交通運輸廳信息中心）

摘要：隨著交通運輸信息化應用的不斷豐富更新，行業(yè)內外應用間高效協(xié)同需求強烈，為進一步提升群眾辦事服務與行業(yè)管理質量和效率，迫切需要建設高效率高質量的交通運輸資源匯聚治理與交換共享體系。本文基于四川省交通運輸行業(yè)信息化的現狀與問題，梳理了數據流需求，介紹了數據匯聚與治理機制和數據中心存儲設計，針對行業(yè)內外數據交換共享需求提出了數據交換共享平臺邏輯架構，最后對數據資源匯聚治理與交換共享體系在實際項目中的應用情況進行了簡要說明。

隨著信息化技術在交通運輸行業(yè)的深入推廣，各級交通運輸管理部門為滿足行業(yè)發(fā)展管理需求積極建設了相應信息系統(tǒng)，包括公路建設、路網管理、水路、運管、航空、鐵路等許多業(yè)務應用系統(tǒng)[1]，應用協(xié)同數據需求越來越多，數據協(xié)同的效率和質量直接關系到應用的使用效率和準確性，更關系到交通運輸行業(yè)公眾服務和政務管理的質量與效率。為滿足交通運輸數據資源交換共享需求，進而提升數據資源利用效率和業(yè)務應用協(xié)同效率，推進交通運輸行業(yè)的公眾服務、政務管理，綜合分析的高質量發(fā)展的關鍵在于發(fā)展對應的高質量高效率交通運輸數據資源共享交換體系。

一、現狀及問題

隨著近年來信息化建設的不斷深入，四川省交通運輸各級業(yè)務部門根據自身業(yè)務管理需求已經建設了相應的信息系統(tǒng)，涉及行業(yè)包括公路交通、路網運行、道路運輸、水路交通、綜合服務管理等[1]。

不過，這些系統(tǒng)的建立只服務于獨立的業(yè)務部門，且在不同時期完成，缺少統(tǒng)一的管理規(guī)劃，業(yè)務系統(tǒng)各自掌握的數據不能及時有效提供給相關需求單位，在數據交換共享方面仍然存在問題。

通過四川省交通運輸廳數據中心的建設，已對現有交通運輸省直部門業(yè)務系統(tǒng)數據進行了匯聚，包括公路交通、水路交通、道路運輸、城市交通、綜合管理等[1]。通過對以上匯聚數據資源進行分析，發(fā)現基礎類數據資源存在數據標準不統(tǒng)一、一類數據存在多個數據源、數據質量不高、數據更新不及時等情況，導致在業(yè)務系統(tǒng)間無法有效互聯(lián)互通，業(yè)務數據協(xié)同應用效率不足，質量不高。

二、數據流需求

為提高交通運輸數據資源交換共享效率，首先需要掌握數據中心交換共享整體需求，從數據生產源到數據需求端進行了全面梳理。全省行業(yè)交通運輸數據流如圖1所示。

圖1 交通行業(yè)數據流示意圖

1、底部為數據生產源，包括四個部分，分別是省級云上信息系統(tǒng)、省級云外業(yè)務單位信息系統(tǒng)、行業(yè)外信息系統(tǒng)、市州交通運輸局數據分中心；

2、各個環(huán)節(jié)數據交互通過省級數據交換節(jié)點實現；

3、匯聚數據分別根據結構化與非結構化屬性將行業(yè)內外各類數據采集到省級數據中心和大數據平臺；

4、通過省級數據資源交換共享平臺將數據中心匯聚數據進行數據管控，通過融合治理、元數據管理等，構建行業(yè)人車戶路四類基礎數據庫、建管養(yǎng)運四類業(yè)務數據庫，形成包括公眾出行、電子證照、空間地理、應急指揮等行業(yè)主題數據庫；

5、省級數據資源交換共享平臺通過編制目錄、對接數據、注冊資源、形成數據服務，對外依申請共享或直接開放；

6、省級數據資源交換共享平臺通過交換管理實現對數據服務狀況；

7、最后到達頂部數據需求端，包括交通運輸部、省大數據中心、省級其他單位、省級云上（外）信息系統(tǒng)、市州交通運輸局、交通運輸行業(yè)互聯(lián)網企業(yè)。

三、數據匯聚與治理

（一）數據匯聚

為實現高效率匯聚數據，主要通過大數據ETL工具實現數據匯聚，大數據ETL工具功能豐富，涵蓋了數據庫、各類數據文件、接口等多種數據對接方式，是比較主流高效的數據匯聚工具。大數據ETL具體功能如圖2所示。

圖2 大數據ETL工具功能示意圖

（二）數據治理

數據治理主要從目錄管理、數據管控兩方面入手，通過運用數據治理規(guī)則建立一套數據準入和準出機制，以保障數據準確性、一致性、完整性和可用性，從而提供高質量的數據資源用于交換共享支撐應用協(xié)同[2]。

1、目錄管理

目錄項管理：根據交通運輸部行業(yè)資源分類及目錄編制指南，對匯聚的數據資源編制行業(yè)資源目錄。創(chuàng)建的目錄項結構中一級目錄對應六大行業(yè)分類，包括：公路交通、道路運輸、水路交通、城市交通、綜合管理、行業(yè)外管理[1]；二級目錄對應各個一級目錄下的業(yè)務分類。

目錄信息項編目：對目錄進行信息項各項內容進行編目、并進行審核后發(fā)布，保持對目錄信息更新維護。

數據標準：形成我省交通運輸行業(yè)標準數據模板。提供標準數據模板的查詢、新增、編輯、刪除、保存、取消、啟動/停用、下載模板等功能，保持標準數據模板的更新維護和使用。

2、數據管控

元數據管理：實現不同數據源情況下的元數據匯聚，進行元數據編碼，實現數據關聯(lián)，提供對元數據增刪改查及批量導出等功能；

質量審計：提供審計規(guī)則制定、審計方案制定（多個規(guī)則生成一個方案）、審計質量分析、審計質量報告的數據質量管理全過程的功能。根據數據質量審計結果，判斷數據是否準入。

數據清洗：對已匯聚數據按照數據清洗規(guī)則進行轉換、清洗、融合等處理。數據清洗規(guī)則包括非空檢查、非法代碼、非法值、格式核驗、邏輯錯誤、關聯(lián)性驗證等

數據融合：主要有遞增、覆蓋、全量三種方式。

多源數據處理：針對相同數據資源，具有多個業(yè)務系統(tǒng)來源，各自業(yè)務系統(tǒng)相對獨立，數據規(guī)則不統(tǒng)一，僅滿足自己業(yè)務需求應用，無法實現數據同步統(tǒng)一更新。以收費站基礎信息為例，公路局、高管局及監(jiān)控結算中心相關業(yè)務系統(tǒng)均有一份收費站數據，以滿足各自的業(yè)務需要。從3個業(yè)務數據采集匯聚后的數據質量、數據結構均不完全一致，采用的收費站編碼規(guī)則也不一樣。建議一是采納由實際業(yè)務應用最廣泛最頻繁業(yè)務系統(tǒng)為基礎；二是統(tǒng)一采用JT/T132-2014公路數據庫編目編碼規(guī)范針對公路網基礎設施定義編碼規(guī)范；三是制定融合規(guī)范，進行數據升級，定義設施設備唯一標識，實現對不同業(yè)務系統(tǒng)同樣設施設備進行數據升級，并逐步實現其他差異消除。

四、數據存儲設計

數據資源經過匯聚治理后需要分門別類進行儲存以便進行提高數據讀寫效率，提高數據可用性，一致性。數據中心存儲設計如圖3所示。

圖3 數據中心存儲設計圖

核心生產系統(tǒng)結構化常量增量數據（非海量增量數據）可以通過oracle一體機進行采集存儲，根據標準數據資源目錄模型進行數據存放，存放數據形式為清單級數據。同時利用其性能優(yōu)勢，支撐高并發(fā)、時效性要求高的應用場景。

生產系統(tǒng)海量數據以及非結構化數據可以直接進入大數據平臺進行數據存儲。利用大數據平臺計算組件選擇多樣、多租戶模式提供各應用租戶大數據加工和分析能力。

五、數據交換共享平臺設計

數據資源交換共享與開放應用平臺按數據的流向自下而上分為五層，分別為外部數據資源層、數據匯聚層、數據融合層、服務管理層和服務門戶層。數據交換共享平臺系統(tǒng)架構如圖4所示。

圖4 數據交換共享平臺系統(tǒng)架構圖

（一）外部數據資源層

外部數據資源層即源數據庫，為系統(tǒng)外部數據的來源，其主要包括行業(yè)內系統(tǒng)共享數據、行業(yè)外系統(tǒng)共享數據及互聯(lián)網數據。

（二）數據匯聚層

數據匯聚層主要實現對外部數據源層的數據整合，其主要根據獲取數據的特性不同而采用不同的采集方案。對離線批處理數據，實時性要求不高的情況下，采用傳統(tǒng)的etl工具來實現。對數據實時性要求高、采集頻度較高的數據（如GPS、傳感器、移動終端發(fā)送數據等），采用實時數據接入方案。

（三）數據融合層

數據融合層為工程數據提供持久化存儲和訪問的場所。通過“一體機數據庫+分布式數據庫+Hadoop大數據庫”的混合架構形成平臺的數據融合層。其中核心生產系統(tǒng)結構化數據存儲查詢等通過一體機數據庫提供，實現高并發(fā)的數據查詢分析能力；非結構化數據通過分布式存儲架構的存儲節(jié)點上部署的數據庫提供。

（四）服務管理層

主要包括目錄管理、資源管理、服務管理、交換管理等功能。

目錄管理提供目錄編制、目錄維護、目錄變更、目錄審核、目錄發(fā)布等操作功能，能夠方便快捷檢索到交通行業(yè)不同分類信息資源目錄情況。

資源管理部分主要是進行資源注冊，根據已編制完成的信息資源目錄，在進行了數據接入后進行資源的注冊操作，將目錄編目時錄入的“標準化”信息項與數據接入時的實際信息項建立的匹配信息進行注冊以便發(fā)布服務使用。

服務管理提供服務發(fā)布，服務啟用/停用，服務監(jiān)控，服務調用日志，統(tǒng)計分析等管理能力，實現服務的全生命周期管理，從開發(fā)、測試、發(fā)布、調用、注銷，到服務監(jiān)控、安全等的管理。

交換管理提供資源服務共享申請，交換管理，任務監(jiān)控等功能，通過接口、數據庫、文件等不同方式提供數據服務以滿足不同數據需求，對共享任務動態(tài)監(jiān)控告警方便跟蹤數據鏈路的聯(lián)通性[3]。

（五）服務門戶層

通過服務門戶和接口支持，提供標準化服務給應用系統(tǒng)調用，滿足各種場景下應用系統(tǒng)對數據的使用和共享交換需求。

六、應用實例

本文以四川省交通運輸政務信息資源交換共享與開放應用平臺為例，通過兩個基礎應用平臺、一個存儲中心、多個數據交換節(jié)點形成全省交通運輸數據交換共享與開放應用體系。四川省交通運輸數據交換共享與開放應用平臺邏輯架構如圖5所示。

圖5 四川省交通運輸數據交換共享與開放應用平臺邏輯架構圖

兩個基礎支撐平臺：一是共享交換平臺，依據四川省交通運輸行業(yè)資源現狀完成數據資源目錄體系建設，形成數據資源交換標準編制規(guī)范，并提供目錄管理、資源注冊、資源服務、共享交換等功能，完成數據中心各庫之間、與大數據平臺之間、與行業(yè)業(yè)務局之間等的數據共享交換，并向所有業(yè)務應用系統(tǒng)提供數據服務支撐；二是大數據平臺，一方面提供大數據量的存儲服務，包括非結構化、半結構化、結構化大數據存儲；另一方面一方面是提供大數據組件計算服務以及數據挖掘分析功能。

一個數據存儲中心：由大數據平臺存儲計算服務器與oracle一體機存儲服務器共同組成廳數據存儲中心。

數個省級數據交換節(jié)點：即數據采集平臺，采用了東方通交換共享平臺，根據交通行業(yè)數據和應用特征，定制開發(fā)數據采集方式、轉換方式，并對現有各類行業(yè)數據進行匯聚整合，打通各業(yè)務單位間不同數據結構、不同網絡環(huán)境的數據交換工作。

數據工程：主要通過數據交換節(jié)點，結合共享交換平臺，完成數據資源接入，依托大數據平臺存儲服務器和oracle一體機形成的數據中心完成資源存儲，通過數據融合處理，形成交通運輸行業(yè)數據資產，支撐數據資源目錄體系建設以及上層的業(yè)務應用。

四川省交通運輸政務信息資源交換共享與開放應用平臺：通過數據工程整合基礎支撐平臺、數據存儲中心、數據交換節(jié)點為一個整體平臺，實現從數據資源采集匯聚、數據資源編目、數據治理管控、數據服務發(fā)布、數據交換共享等數據全流程的監(jiān)控服務與分析，通過信息資源目錄提供統(tǒng)一的數據視圖，為行業(yè)各級管理部門、行業(yè)相關企業(yè)、其他政府部門以及社會公眾提供文件、接口、數據庫表等方式的標準數據服務，形成高效的數據交換共享體系。

在采集匯聚資源成果方面，采集行業(yè)內數據主要包括廳公路局、省航務海事中心、廳運管局、廳高管局、省交通質監(jiān)站、路網中心、廳監(jiān)控結算中心、廳信息中心、物資儲備中心共9個相關業(yè)務單位的28個業(yè)務系統(tǒng)，合計超過600項資源。

在管理治理成果方面，通過數據管控治理，整合形成公路基礎數據，包括經營業(yè)戶、從業(yè)人員、營運車輛、資質證書；水路運輸基礎，包括船舶、船員、船公司、渡口、碼頭、航道；空間地理信息等基礎庫；養(yǎng)護數據、工程建設、道路運輸、信用數據、行政審批、隱患上報等業(yè)務庫；公眾出行、綜合分析、應急指揮、動態(tài)數據、統(tǒng)計分析、電子證照等主題庫；形成目錄資源服務259項。

在共享交換成果方面，通過四川省交通運輸政務信息資源交換共享與開放應用平臺向交通運輸部政務信息交換共享平臺、四川省政務信息共享網站、四川公共數據開放網、四川省“互聯(lián)網+監(jiān)管”平臺提供行業(yè)相關數據；向省大數據中心、省公安廳等其他十多個省直單位提供行業(yè)相關數據；向全省22個市州交通運輸局共享所屬區(qū)域交通運輸行業(yè)數據；通過政務公開、高德等行業(yè)企業(yè)對接等方式向社會開放提供各類數據查詢服務。

七、結束語

交通運輸數據資源共享交換體系在進一步發(fā)展過程中，本文提出的交通運輸數據資源共享交換體系在四川省交通運輸應急指揮與運行監(jiān)測系統(tǒng)工程（二期）中完成了建設實踐，有效支撐了四川省交通運輸行業(yè)當下政務信息資源共享工作，促進了行業(yè)政務服務和行業(yè)協(xié)同監(jiān)管能力的提升。為進一步推進政務信息資源共享工作，滿足新的政務服務和協(xié)同監(jiān)管需求，將繼續(xù)深入優(yōu)化交通運輸政務資源共享交換體系，加強交通運輸數據資源共享交換體系在數據質量管控和共享效率等方面能力，促進交通運輸管理部門政務服務和行業(yè)監(jiān)管能力與效率的提升。

參考文獻

[1] 郭明多,魏彬.交通運輸政務信息資源目錄編制方法及應用[J].交通運輸研究,2018,4(2)：37-43.

[2] 劉天須,王子昂,張雪揚.交通運輸行業(yè)數據治理體系研究[J].交通與信息化,2020,10:135-136.

[3] 王永明,王林,李聰,岑春.數據采集交換體系及其在交通運輸數據中心建設中的應用研究[J].交通信息與安全,2013,3(31):108-112.

電話

18140091980撥打

新聞中心

交通運輸數據資源共享交換體系探究與實現