任你躁在线精品免费,国内在线网友露脸自拍,最近日本中文字幕免费完整 ,8x8ⅹ永久华人免费观看

煤炭產(chǎn)運銷信息采集和物流服務(wù)平臺解決方案


建設(shè)內(nèi)容
(1) 標(biāo)準(zhǔn)體系建設(shè)
實現(xiàn)基礎(chǔ)設(shè)施即服務(wù)標(biāo)準(zhǔn)體系、數(shù)據(jù)即服務(wù)標(biāo)準(zhǔn)體系、平臺即服務(wù)標(biāo)準(zhǔn)體系、軟件即服務(wù)標(biāo)準(zhǔn)體系建設(shè),為采集、交互、治理、應(yīng)用、服務(wù)提供支撐。
(2) 大數(shù)據(jù)云平臺建設(shè)
依托政府政務(wù)云機房,以“云計算+大數(shù)據(jù)”方式建設(shè)煤炭產(chǎn)運銷大數(shù)據(jù)平臺。以大數(shù)據(jù)技術(shù)實現(xiàn)海量數(shù)據(jù)的采集,完成模型設(shè)計、數(shù)據(jù)加工整合、數(shù)據(jù)存儲、大數(shù)據(jù)建模分析,以云架構(gòu)方式實現(xiàn)硬件資源和應(yīng)用服務(wù)的彈性管理,為能源局煤炭智慧管理提供支撐。
(3) 數(shù)據(jù)治理系統(tǒng)建設(shè)
完成數(shù)據(jù)建模管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)監(jiān)控管理等模塊功能的建設(shè)。
(4) 產(chǎn)運銷全環(huán)節(jié)的數(shù)據(jù)采集
完成煤礦的基本信息、產(chǎn)量數(shù)據(jù)、電子地磅數(shù)據(jù)、RFID數(shù)據(jù)、合同數(shù)據(jù)、車輛數(shù)據(jù)、視頻數(shù)據(jù)進(jìn)行采集。
(5) 六大應(yīng)用功能建設(shè)
實現(xiàn)綜合看板、煤礦生產(chǎn)中心、煤炭承運中心、市煤銷售中心、綜合政務(wù)中心、運營支持中心等6大應(yīng)用功能建設(shè)。
(6) 大數(shù)據(jù)服務(wù)平臺建設(shè)
實現(xiàn)以服務(wù)的方式對大數(shù)據(jù)平臺的平臺能力、數(shù)據(jù)和應(yīng)用進(jìn)行封裝,同時實現(xiàn)多租戶的平臺數(shù)據(jù)服務(wù)能力建設(shè)。
(7) 安全保障體系建設(shè)
完成安全區(qū)域邊界、安全管理中心及安全通信網(wǎng)絡(luò)的設(shè)計,安全區(qū)域劃分、保護(hù),網(wǎng)絡(luò)安全、系統(tǒng)與應(yīng)用安全及數(shù)據(jù)安全的建設(shè)。
(8) 區(qū)縣能源局煤炭產(chǎn)運銷管理平臺建設(shè)
區(qū)縣能源局要按照市能源局的統(tǒng)一立項、規(guī)劃、設(shè)計、招標(biāo),建設(shè)本轄區(qū)的煤炭產(chǎn)運銷大數(shù)據(jù)平臺。市能源局的大數(shù)據(jù)平臺為區(qū)縣煤炭產(chǎn)運銷大數(shù)據(jù)平臺提供支持。
(9) 連通煤炭監(jiān)管信息平臺
通過煤炭專網(wǎng)連通煤炭監(jiān)管信息平臺,實現(xiàn)煤炭監(jiān)管數(shù)據(jù)共享。
(10) 機房和信息展示終端建設(shè)
根據(jù)市能源局的實際需求,依照機房建設(shè)標(biāo)準(zhǔn)建設(shè)模塊化標(biāo)準(zhǔn)機房,滿足大數(shù)據(jù)平臺建設(shè)需求。展示終端可依據(jù)實際情況,建設(shè)高質(zhì)量LCD大屏、信息調(diào)度臺、打印機和辦公桌椅等設(shè)備。
對機房防雷接地系統(tǒng)進(jìn)行規(guī)范設(shè)計,保障終端設(shè)備的運行安全。
數(shù)據(jù)平臺建設(shè)
2.1 數(shù)據(jù)模型建設(shè)
根據(jù)招標(biāo)文件的要求,以及我公司對地區(qū)煤礦分布情況的考察,我們設(shè)計的軟件平臺采用1+5模式,即一個市級平臺,五個區(qū)縣級平臺。
數(shù)據(jù)模型設(shè)計采用自頂向下與自底向上相結(jié)合的方法進(jìn)行設(shè)計。以企業(yè)級數(shù)據(jù)模型為指導(dǎo),結(jié)合相關(guān)企業(yè)規(guī)范,參考業(yè)界標(biāo)桿、成熟模型,以業(yè)務(wù)需求為出發(fā)點,先建立概念模型,再在概念模型的基礎(chǔ)上進(jìn)行細(xì)化設(shè)計邏輯模型。
1) 模型設(shè)計方法
企業(yè)級數(shù)據(jù)模型設(shè)計可采用“業(yè)務(wù)需求驅(qū)動自頂向下”和“基于現(xiàn)狀驅(qū)動自底向上”相結(jié)合模式,參照業(yè)界參考模型、行業(yè)最佳實踐,共同形成數(shù)據(jù)模型。從業(yè)務(wù)需求驅(qū)動入手自頂向下,參照業(yè)界參考模型、行業(yè)最佳實踐搭建數(shù)據(jù)模型整體框架,通過現(xiàn)狀調(diào)研獲取企業(yè)內(nèi)部業(yè)務(wù)流程、設(shè)計文檔、系統(tǒng)模型、接口規(guī)范等現(xiàn)狀信息,現(xiàn)狀驅(qū)動自底向上,細(xì)化和完善數(shù)據(jù)模型的設(shè)計。

 


數(shù)據(jù)建模主要分為三個階段:
指定數(shù)據(jù)采集策略,針對不同類型的數(shù)據(jù),使用不同的數(shù)據(jù)采集策略:
1、根據(jù)數(shù)據(jù)本身的特性可以將數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。針對結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),我們可以采用OGG、JDBC、Kafka、Flume、Socket、SFTP等方式進(jìn)行采集;針對非結(jié)構(gòu)化數(shù)據(jù),可以采用SFTP方式進(jìn)行采集。
2、根據(jù)數(shù)據(jù)的時效性,可以將數(shù)據(jù)分為:流式數(shù)據(jù)、批式數(shù)據(jù)、實時數(shù)據(jù)、歷史數(shù)據(jù)。邊緣側(cè)流式數(shù)據(jù)和實時數(shù)據(jù)的采集統(tǒng)一使用網(wǎng)關(guān)進(jìn)行采集;大數(shù)據(jù)平臺側(cè)流式數(shù)據(jù)和實時數(shù)據(jù)可采用OGG、MQTT、JDBC、Kafka、Flume、Socket、SFTP等方式進(jìn)行數(shù)據(jù)采集;針對批式數(shù)據(jù)和歷史數(shù)據(jù),可以采用SFTP、ETL進(jìn)行采集。
3、根據(jù)數(shù)據(jù)量大小、涉密情況、重要性,可將數(shù)據(jù)采集分為專網(wǎng)采集、公網(wǎng)采集。數(shù)據(jù)量較大,且時效性要求較高,使用公網(wǎng)采集可能會造成公網(wǎng)的即時擁堵和不確定性,建議采用專線進(jìn)行采集;針對涉密數(shù)據(jù),可采用專線進(jìn)行采集。
4、根據(jù)數(shù)據(jù)量大小和業(yè)務(wù)類別不同制定錯峰采集機制。在上傳數(shù)據(jù)時,要考慮時間段因素,盡量使用夜間網(wǎng)絡(luò)空閑時間,避免占用公共網(wǎng)絡(luò)帶寬。
5、原則上歷史數(shù)據(jù)采集,采用一次性入庫方式采集;實時數(shù)據(jù)采集則盡量采用增量方式采集。
6、針對網(wǎng)絡(luò)不能直接打通的方式可以采用前置機的方式進(jìn)行數(shù)據(jù)采集。
7、針對信息資源共享交換平臺中的信息采用滾雪球采集的方式進(jìn)行數(shù)據(jù)采集。

2) 建模原則
保證模型的穩(wěn)定性和對業(yè)務(wù)支持的靈活性,建模階段將遵循以下的原則:繼承性原則、穩(wěn)定性原則、前瞻性原則、兼顧實際原則、擴展性原則。
3) 模型優(yōu)化
定期分析數(shù)據(jù)依賴,對各個關(guān)系模式之間的數(shù)據(jù)依賴進(jìn)行極小化處理,消除冗余。對動態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)進(jìn)行分離,提升數(shù)據(jù)處理性能。對低性能模型進(jìn)行反范式設(shè)計,對涉及多個關(guān)系模式的數(shù)據(jù)進(jìn)行合并,提升查詢速度。
4) 數(shù)據(jù)模型維護(hù)管理
隨著業(yè)務(wù)開展及需求的不斷變化,數(shù)據(jù)模型也需要持續(xù)維護(hù),不斷完善,以保證數(shù)據(jù)模型的完整性、前瞻性以及擴展性,這是一項長期持續(xù)的工作。
2.2 數(shù)據(jù)采集
1) 采集范圍
平臺采集數(shù)據(jù)主要涵蓋能源相關(guān)的各種數(shù)據(jù)源,具體如下:
采集系統(tǒng)包括:工業(yè)數(shù)據(jù)平臺、設(shè)備管理系統(tǒng)、生產(chǎn)實時數(shù)據(jù)、生產(chǎn)管理系統(tǒng)、燃料管理系統(tǒng)、物資管理系統(tǒng)、視頻數(shù)據(jù)、檔案系統(tǒng)、數(shù)據(jù)集成平臺、OA、人力資源、財務(wù)共享、全面預(yù)算、財務(wù)合并、財務(wù)核算、互聯(lián)網(wǎng)數(shù)據(jù)及第三方的數(shù)據(jù)等。
2) 采集方式
需根據(jù)每類數(shù)據(jù)的特點來定制采集方式,如下:
內(nèi)部數(shù)據(jù):此類數(shù)據(jù)數(shù)據(jù)源一般都是關(guān)系型數(shù)據(jù)庫和實時數(shù)據(jù)庫,此類數(shù)據(jù)采集方式一般采用數(shù)據(jù)庫直連的接口方式,例如內(nèi)部系統(tǒng)的OA系統(tǒng),建議采用直接開放數(shù)據(jù)庫的方式,由源系統(tǒng)開放數(shù)據(jù)庫賬戶,進(jìn)行實時和定時的數(shù)據(jù)采集。
互聯(lián)網(wǎng)數(shù)據(jù):主要通過爬蟲工具等方式從互聯(lián)網(wǎng)指定的網(wǎng)站進(jìn)行數(shù)據(jù)采集。
第三方數(shù)據(jù)購買:此類數(shù)據(jù)一般采用的是文件方式,一般是定期或不定期通過拷貝的方式進(jìn)行采集。
3) 數(shù)據(jù)采集保障
數(shù)據(jù)采集保障主要從分階段實施、制度、人員、技術(shù)等方面去保障數(shù)據(jù)采集。根據(jù)數(shù)據(jù)難易程度、數(shù)據(jù)重要性、數(shù)據(jù)粒度等分出數(shù)據(jù)的采集實施階段。
制度保障:建立數(shù)據(jù)采集的規(guī)范接口、規(guī)范的數(shù)據(jù)采集流程、數(shù)據(jù)傳輸異常的處理流程、數(shù)據(jù)采集考核標(biāo)準(zhǔn)等方式來保障數(shù)據(jù)采集的及時性、穩(wěn)定性和數(shù)據(jù)正確性。
人員保障:根據(jù)制定的數(shù)據(jù)采集流程,配備各環(huán)節(jié)的管理人員,保障數(shù)據(jù)采集過程中出現(xiàn)問題有專人及時發(fā)現(xiàn)和及時解決。
技術(shù)核驗:通過建立數(shù)據(jù)質(zhì)量稽核系統(tǒng)等方式來核驗數(shù)據(jù)的準(zhǔn)確性,主要技術(shù)手段有接口的連通性、接口的及時性、文件名的規(guī)范性、數(shù)據(jù)質(zhì)量的準(zhǔn)確性等。
4) 數(shù)據(jù)抽取
(1)定時抽取
定時觸發(fā)主要針對實時性要求不高的大量數(shù)據(jù)抽取,定時觸發(fā)可在每日晚上進(jìn)行,通過增量式的數(shù)據(jù)抽取方式,可以使得每日進(jìn)行的數(shù)據(jù)傳輸量能夠保持在一個可控的范疇,避免對網(wǎng)絡(luò)等資源造成過大的負(fù)擔(dān)。
(2)實時抽取
實時抽取主要針對需實時同步至平臺的業(yè)務(wù)數(shù)據(jù)。實時抽取需通過OGG、kafka、flume等工具進(jìn)行數(shù)據(jù)的實時同步。
(3)時間觸發(fā)抽取
事件觸發(fā)抽取主要針對實時性要求非常高的具體所需要進(jìn)行的數(shù)據(jù)抽取。事件觸發(fā)通常由業(yè)務(wù)應(yīng)用系統(tǒng)發(fā)起,因此所需要進(jìn)行數(shù)據(jù)抽取也應(yīng)當(dāng)有該業(yè)務(wù)應(yīng)用系統(tǒng)發(fā)起數(shù)據(jù)提交的請求。通過前端的消息接入網(wǎng)關(guān)適配器,可實現(xiàn)及時的數(shù)據(jù)提交響應(yīng)。
(4)全量抽取
系統(tǒng)支持全量抽取,類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制,它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動的從數(shù)據(jù)庫中抽取出來,并轉(zhuǎn)換成平臺可以識別的格式。全量抽取通過對數(shù)據(jù)源的抽取規(guī)則預(yù)定義,直接通過該模塊執(zhí)行抽取邏輯,并將抽取后的數(shù)據(jù)對應(yīng)插入上層平臺的目標(biāo)數(shù)據(jù)源中,完成全量抽取的整個過程。
(5)增量抽取
增量抽取即階段性的對本階段內(nèi)變更的數(shù)據(jù)進(jìn)行采集上報,包括新增、刪除、變更的數(shù)據(jù),只抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增或修改的數(shù)據(jù)。在業(yè)務(wù)操作過程中,增量抽取較全量抽取應(yīng)用更廣。如何捕獲變化的數(shù)據(jù)是增量抽取的關(guān)鍵。
2.3 數(shù)據(jù)加工處理
(1)數(shù)據(jù)處理流程
目前進(jìn)行云計算研究與大數(shù)據(jù)處理的較為主流的平臺有由Apache公司研發(fā)的Hadoop系統(tǒng),其把復(fù)雜的作業(yè)經(jīng)過算法優(yōu)化進(jìn)行合理切分成若干子作業(yè),然后將子作業(yè)分配到具有所需數(shù)據(jù)的若干節(jié)點進(jìn)行并行MapReduce計算,節(jié)點間沒有依賴性且可以根據(jù)運行狀況進(jìn)行調(diào)度,提高處理速度和效率。平臺進(jìn)行并行處理時,需要位于平臺底層分布式存儲系統(tǒng)中眾多節(jié)點存儲的數(shù)據(jù)和節(jié)點具體操作,眾多節(jié)點中有唯一的主節(jié)點控制其他節(jié)點的協(xié)同操作和存儲信息。
1)處理系統(tǒng)需求分析
大數(shù)據(jù)解決方案系統(tǒng)主要分為兩個子系統(tǒng):數(shù)據(jù)遷移子系統(tǒng)和數(shù)據(jù)分析挖掘子系統(tǒng)。數(shù)據(jù)遷移子系統(tǒng)把各個在線業(yè)務(wù)平臺服務(wù)器的數(shù)據(jù)實時遷移到海量數(shù)據(jù)庫中,解決大數(shù)據(jù)的存儲、備份和共享問題;數(shù)據(jù)分析挖掘子系統(tǒng)利用系統(tǒng)集群并行對大數(shù)據(jù)進(jìn)行快速分析處理,生成有價值的報告。
2)處理系統(tǒng)方案設(shè)計
本項目大數(shù)據(jù)解決方案系統(tǒng)基于Hadoop平臺的集群,以面向列存儲的HBase作為海量數(shù)據(jù)存儲數(shù)據(jù)庫。數(shù)據(jù)遷移子系統(tǒng)通過基于網(wǎng)絡(luò)的存儲虛擬化整合網(wǎng)絡(luò)異構(gòu),規(guī)避和減少宕機,保證在線數(shù)據(jù)遷移時不需間斷業(yè)務(wù),遷移后由HBase對大數(shù)據(jù)進(jìn)行高效管理。數(shù)據(jù)分析挖掘子系統(tǒng)則基于密集型離線數(shù)據(jù)分析,通過建立Hive和HBase無縫連接,Hive提供類似SQL查詢,經(jīng)過系統(tǒng)平臺編譯HQL,生成執(zhí)行計劃,交由MapReduce對HBase管理的數(shù)據(jù)進(jìn)行高效地并行計算,把深度挖掘到有價值的結(jié)果反饋給用戶。
3)數(shù)據(jù)分析模塊的主要流程:
①Hive與HBase集成:Hive和Hbase兩個框架通過HBase Storage Handler實現(xiàn)無縫接口整合,在Hive建立的表自動獲取與其建立通信的Hbase中的對應(yīng)的表名、列簇和輸入輸出格式等信息。
②數(shù)據(jù)表映射:運行HQL命令創(chuàng)建Hive的外表,該外表和HBase的表映射,通過配置信息映射由HBase到Hive,確保HBase和Hive兩者之間列和數(shù)據(jù)類型的一致性。
③HBase表切分:根據(jù)數(shù)據(jù)表對應(yīng)的HRegion,將Region作為InputSplit單位,根據(jù)拆分?jǐn)?shù)量交給等量的Map操作。
④查詢分析統(tǒng)計:用戶在系統(tǒng)平臺中使用Hive提供的組件,根據(jù)業(yè)務(wù)需求進(jìn)行編譯、提交HQL命令,然后編譯器對HiveQL命令進(jìn)行解析,優(yōu)化,最后系統(tǒng)生成Hadoop的MapReduce任務(wù),通過構(gòu)建Scanner對HBase表數(shù)據(jù)進(jìn)行掃描,對條件進(jìn)行過濾、排序、去重,最后通過next()獲取數(shù)據(jù),并且把數(shù)據(jù)生產(chǎn)表格、圖表等形式交付給用戶。
(2)數(shù)據(jù)加工
數(shù)據(jù)加工整合是各類數(shù)據(jù)資源匯聚后,按照平臺構(gòu)建目標(biāo)和數(shù)據(jù)規(guī)劃,進(jìn)行的標(biāo)識類、要素類、索引類、標(biāo)簽類、目錄類等各類基礎(chǔ)數(shù)據(jù)的加工和整合,加工整合手段的合理性很大程度上影響了系統(tǒng)建設(shè)質(zhì)量。
以下數(shù)據(jù)加工整合需要建立常態(tài)的異常整合數(shù)據(jù)分析、回收機制。
加工與整合手段,包括數(shù)據(jù)資源的管理、流程調(diào)度管理、流程監(jiān)控管理功能,其中:
數(shù)據(jù)資源管理
對ETL過程中使用的各類數(shù)據(jù)資源進(jìn)行配置管理,實現(xiàn)對資源的以下管理功能:
資源的增刪改查:對各資源類型進(jìn)行新增、刪除、修改、查詢操作,如在資源管理中創(chuàng)建、新增、刪除、查詢表。
資源的導(dǎo)入、導(dǎo)出:對資源類型進(jìn)行導(dǎo)入、導(dǎo)出操作,如在資源管理中對映射進(jìn)行導(dǎo)入與導(dǎo)出,減少二次開發(fā)資源映射的工作量及起到安全備份的效果。
流程調(diào)度設(shè)計
通過統(tǒng)一的ETL平臺實現(xiàn)數(shù)據(jù)的加工及調(diào)度。設(shè)計數(shù)據(jù)的映射關(guān)系,數(shù)據(jù)加工過程;設(shè)計基礎(chǔ)層、匯總層、等各層數(shù)據(jù)的詳細(xì)加工流程以及調(diào)度時序,通過與ETL的集成,在ETL平臺上實現(xiàn)各類加工規(guī)則的配置,實現(xiàn)數(shù)據(jù)加工過程的統(tǒng)一配置及管理。
流程調(diào)度監(jiān)控
本平臺設(shè)計標(biāo)準(zhǔn)的ETL流程監(jiān)控,對流程調(diào)度的關(guān)鍵點進(jìn)行實時監(jiān)控,能夠及時發(fā)現(xiàn)及處理流程調(diào)度過程中的異常問題,保證數(shù)據(jù)流調(diào)度。監(jiān)控范圍、監(jiān)控點、異常級別以及異常通知機制。
轉(zhuǎn)換過程
對數(shù)據(jù)結(jié)構(gòu)進(jìn)行重新組織排列,按平臺統(tǒng)一標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)梳理,完成異構(gòu)數(shù)據(jù)的整體規(guī)劃。
數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)
根據(jù)對與平臺對接應(yīng)用內(nèi)容的需求分析,定義出一系列的數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)將反映各個應(yīng)用所需要的數(shù)據(jù)的結(jié)構(gòu)。同時在標(biāo)準(zhǔn)中定義的還有數(shù)據(jù)“宿主”位置等信息,表示該塊數(shù)據(jù)將向哪個業(yè)務(wù)系統(tǒng)請求獲得。
數(shù)據(jù)轉(zhuǎn)換流程
數(shù)據(jù)轉(zhuǎn)換是依據(jù)數(shù)據(jù)轉(zhuǎn)換流程實現(xiàn)的,針對不同的數(shù)據(jù),需要設(shè)定不同的數(shù)據(jù)流轉(zhuǎn)過程。實現(xiàn)數(shù)據(jù)流轉(zhuǎn)過程的定義。
數(shù)據(jù)轉(zhuǎn)換映射
由于數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)并不知道在具體業(yè)務(wù)系統(tǒng)內(nèi)的相應(yīng)數(shù)據(jù)的位置、屬性、名稱等等信息,所以需要在業(yè)務(wù)系統(tǒng)內(nèi)對數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)中的對應(yīng)項有一個映射關(guān)系的定義。功能包括:數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)定義信息的導(dǎo)入;維護(hù)數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)與內(nèi)部數(shù)據(jù)結(jié)構(gòu)間的映射定義表,包括數(shù)據(jù)項與數(shù)據(jù)項的對應(yīng)或組合對應(yīng)(公式化)、數(shù)據(jù)類型的匹配或轉(zhuǎn)換關(guān)系、數(shù)據(jù)項位置描述記錄等等。
(3) 數(shù)據(jù)存儲計算
1)數(shù)據(jù)存儲
按資源庫類型區(qū)分的數(shù)據(jù)存儲設(shè)計如下:
資源庫類型 細(xì)分 存儲設(shè)計類型
基礎(chǔ)數(shù)據(jù)資源庫
綜合關(guān)聯(lián)資源庫
應(yīng)用數(shù)據(jù)資源庫 結(jié)構(gòu)化數(shù)據(jù) HDFS/Hive/MPP
半結(jié)構(gòu)化數(shù)據(jù)
非結(jié)構(gòu)化數(shù)據(jù) HBASE
元數(shù)據(jù) 結(jié)構(gòu)化數(shù)據(jù) Oracle/MySQL
企業(yè)內(nèi)部數(shù)據(jù)、企業(yè)數(shù)據(jù)、政府?dāng)?shù)據(jù)和社會面數(shù)據(jù)等主要以文本數(shù)據(jù)為主,對應(yīng)數(shù)據(jù)價值較高或查詢時效性較高的數(shù)據(jù),存放在MPP數(shù)據(jù)庫中;對于查詢響應(yīng)時長要求較寬松的,存放在HDFS分布式系統(tǒng)。
本著充分利用和共享存儲硬件資源前提,MPP數(shù)據(jù)庫和HDFS共享、或共用存儲硬件。
視頻、語音和圖片數(shù)據(jù),如案件音視頻數(shù)據(jù)、視頻數(shù)據(jù)、圖片數(shù)據(jù)等,原則上不存儲在數(shù)據(jù)中心,此類非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過結(jié)構(gòu)化處理之后的文本數(shù)據(jù)推送緩沖區(qū),然后實時處理或批量處理保存到大數(shù)據(jù)平臺的HDFS系統(tǒng)上。非結(jié)構(gòu)化數(shù)據(jù)屬于對象存儲,在HBASE中。
元數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫中,方便增刪改查的交互處理。
2)計算機制
大數(shù)據(jù)平臺將基于云服務(wù)平臺搭建數(shù)據(jù)生產(chǎn)加工云計算環(huán)境,將根據(jù)數(shù)據(jù)源、數(shù)據(jù)類型、數(shù)據(jù)特征以及業(yè)務(wù)上對數(shù)據(jù)時效性、安全性等要求,匹配適當(dāng)?shù)挠嬎闶侄巍?br /> 平臺按數(shù)據(jù)的價值特征采取三種生產(chǎn)加工手段:
高價值密度數(shù)據(jù):即信息聚合度高、數(shù)據(jù)關(guān)聯(lián)關(guān)系強的數(shù)據(jù),采用關(guān)系型數(shù)據(jù)庫技術(shù),如Oracle、Mysql、MPP,為數(shù)據(jù)加工或服務(wù)提供SQL支持。
低價值密度數(shù)據(jù):即批量或海量的大數(shù)據(jù),將基于Hadoop/Cassandra生態(tài)體系構(gòu)建計算能力提供批量計算、海量查詢、和大數(shù)據(jù)存儲以滿足業(yè)務(wù)需要。
流數(shù)據(jù):主要是指實時數(shù)據(jù)處理,將基于Storm、SparkSteaming、Kafka等構(gòu)建實時流計算和分布式消息機制。
3)數(shù)據(jù)庫
Hadoop/Cassandra
搭建全套的hadoop/Cassandra組件。依據(jù)Hadoop/Cassandra數(shù)據(jù)框架,建立大數(shù)據(jù)中心,實現(xiàn)對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)化及統(tǒng)一收集、存儲和管理。實現(xiàn)對企業(yè)各業(yè)務(wù)應(yīng)用數(shù)據(jù)的統(tǒng)一抽取和管理,能夠為企業(yè)的綜合統(tǒng)計、報表、主題分析和數(shù)據(jù)挖掘等分析決策提供數(shù)據(jù)支持。
分布式時序數(shù)據(jù)庫
針對實時數(shù)據(jù),采用InfluxDB,其是用Java語言編寫的一個開源分布式時序、事件和指標(biāo)數(shù)據(jù)庫,無需外部依賴。也支持類似的數(shù)據(jù)庫有Elasticsearch、Graphite等。
基于時間序列,支持與時間有關(guān)的相關(guān)函數(shù)(如最大,最小,求和等)
可度量性:你可以實時對大量數(shù)據(jù)進(jìn)行計算
基于事件:它支持任意的事件數(shù)
InfluxDB
無結(jié)構(gòu)(無模式):可以是任意數(shù)量的列;
可拓展的;
支持min, max, sum, count, mean, median 等一系列函數(shù),方便統(tǒng)計;
原生的HTTP支持,內(nèi)置HTTP API;
強大的類SQL語法。
自帶管理界面,方便使用自帶管理界面:
分布式:節(jié)點對外表現(xiàn)對等(每個節(jié)點都可以用來做入口);加入節(jié)點自動均衡
多租戶:可根據(jù)不同的用途分索引;可以同時操作多個索引
2.4 數(shù)據(jù)分析算法
1)基于歷史的MBR分析(Memory-Based Reasoning;MBR)
基于歷史的MBR分析方法最主要的概念是用已知的案例(case)來預(yù)測未來案例的一些屬性(attribute),通常找尋最相似的案例來做比較。記憶基礎(chǔ)推理法中有兩個主要的要素,分別為距離函數(shù)(distance function)與結(jié)合函數(shù)(combination function)。距離函數(shù)的用意在找出最相似的案例;結(jié)合函數(shù)則將相似案例的屬性結(jié)合起來,以供預(yù)測之用。記憶基礎(chǔ)推理法的優(yōu)點是它容許各種型態(tài)的數(shù)據(jù),這些數(shù)據(jù)不需服從某些假設(shè)。另一個優(yōu)點是其具備學(xué)習(xí)能力,它能藉由舊案例的學(xué)習(xí)來獲取關(guān)于新案例的知識。較令人詬病的是它需要大量的歷史數(shù)據(jù),有足夠 的歷史數(shù)據(jù)方能做良好的預(yù)測。此外記憶基礎(chǔ)推理法在處理上亦較為費時,不易發(fā)現(xiàn)最佳的距離函數(shù)與結(jié)合函數(shù)。其可應(yīng)用的范圍包括欺騙行為的偵測、客戶反應(yīng)預(yù)測、醫(yī)學(xué)診療、反應(yīng)的歸類等方面。
2)決策樹(Decision Trees)
決策樹在解決歸類與預(yù)測上有著極強的能力,它以法則的方式表達(dá),而這些法則以一連串的問題表示出來,經(jīng)由不斷詢問問題最終能導(dǎo)出所需的結(jié)果。典型的決策 樹頂端是一個樹根,底部有許多的樹葉,它將紀(jì)錄分解成不同的子集,每個子集中的字段可能都包含一個簡單的法則。此外,決策樹可能有著不同的外型,例如二元 樹、三元樹或混和的決策樹型態(tài)。
3)遺傳算法(Genetic Algorithm)
遺傳算法學(xué)習(xí)細(xì)胞演化的過程,細(xì)胞間可經(jīng)由不斷的選擇、復(fù)制、交配、突變產(chǎn)生更佳的新細(xì)胞?;蛩惴ǖ倪\作方式也很類似,它必須預(yù)先建立好一個模式,再經(jīng) 由一連串類似產(chǎn)生新細(xì)胞過程的運作,利用適合函數(shù)(fitness function)決定所產(chǎn)生的后代是否與這個模式吻合,最后僅有最吻合的結(jié)果能夠存活,這個程序一直運作直到此函數(shù)收斂到最佳解?;蛩惴ㄔ谌杭?(cluster)問題上有不錯的表現(xiàn),一般可用來輔助記憶基礎(chǔ)推理法與類神經(jīng)網(wǎng)絡(luò)的應(yīng)用
4)聚類分析(Cluster Detection)
這個技術(shù)涵蓋范圍相當(dāng)廣泛,包含基因算法、類神經(jīng)網(wǎng)絡(luò)、統(tǒng)計學(xué)中的群集分析都有這個功能。它的目標(biāo)為找出數(shù)據(jù)中以前未知的相似群體,在許許多多的分析中,剛開始都運用到群集偵測技術(shù),以作為研究的開端。
5)鏈路分析(Link Analysis)
鏈路分析是以數(shù)學(xué)中心圖形理論(graph theory)為基礎(chǔ),藉由記錄之間的關(guān)系發(fā)展出一個模式,它是以關(guān)系為主體,由人與人、物與物或是人與物的關(guān)系發(fā)展出相當(dāng)多的應(yīng)用。例如電信服務(wù)業(yè)可借鏈路分析收集到顧客使用電話的時間與頻率,進(jìn)而推斷顧客使用偏好為何,提出有利于公司的方案。除了電信業(yè)之外,愈來愈多的營銷業(yè)者亦利用鏈路分析做有利于企業(yè)的研究。
6)OLAP分析(On-Line Analytic Processing;OLAP)
嚴(yán)格說起來,OLAP分析并不算特別的一個數(shù)據(jù)挖掘技術(shù),但是透過在線分析處理工具,使用者能更清楚的了解數(shù)據(jù)所隱藏的潛在意涵。如同一些視覺處理技術(shù)一般,透過圖表或圖形等方式顯現(xiàn),對一般人而言,感覺會更友善。這樣的工具亦能輔助將數(shù)據(jù)轉(zhuǎn)變成信息的目標(biāo)。
7)神經(jīng)網(wǎng)絡(luò)(Neural Networks)
神經(jīng)網(wǎng)絡(luò)是以重復(fù)學(xué)習(xí)的方法,將一串例子交與學(xué)習(xí),使其歸納出足以區(qū)分的樣式。面對新的例證,神經(jīng)網(wǎng)絡(luò)即可根據(jù)其過去學(xué)習(xí)的成果歸納后,推導(dǎo)出新的結(jié)果,屬于機器學(xué)習(xí)的一種。數(shù)據(jù)挖掘的相關(guān)問題也可采類神經(jīng)學(xué)習(xí)的方式,其學(xué)習(xí)效果十分正確并可做預(yù)測功能。
8)判別分析(Discriminant Analysis)
當(dāng)所遭遇問題它的因變量為定性(categorical),而自變量(預(yù)測變量)為定量(metric)時,通常應(yīng)用在解決分類的問題上面。若因變量由兩個群體所構(gòu)成,稱之為雙群體 —判別分析 (Two-Group Discriminant Analysis);若由多個群體構(gòu)成,則稱之為多元判別分析(Multiple Discriminant Analysis;MDA)。
9)羅吉斯回歸分析(Logistic Analysis)
當(dāng)判別分析中群體不符合正態(tài)分布假設(shè)時,羅吉斯回歸分析是一個很好的替代方法。羅吉斯回歸分析并非預(yù)測事件(event)是否發(fā)生,而是預(yù)測該事件的機 率。它將自變量與因變量的關(guān)系假定是S行的形狀,當(dāng)自變量很小時,機率值接近為零;當(dāng)自變量值慢慢增加時,機率值沿著曲線增加,增加到一定程度時,曲線協(xié) 率開始減小,故機率值介于0與1之間。
2.5 網(wǎng)絡(luò)安全系統(tǒng)
(1)網(wǎng)絡(luò)安全原則與策略
1)安全原則
安全原則體現(xiàn)在五個方面:動態(tài)性、唯一性、整體性、專業(yè)性和嚴(yán)密性。
1、動態(tài)性:不要把安全的靜態(tài)化,動態(tài)性是安全的一個重要的原則。網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用會不斷出現(xiàn)新的風(fēng)險和威脅,決定了安全動態(tài)性的重要性。
2、唯一性:安全的動態(tài)性決定了安全的唯一性,針對每個網(wǎng)絡(luò)系統(tǒng)安全的解決,都應(yīng)該是獨一無二的。
3、整體性:對于網(wǎng)絡(luò)系統(tǒng)所遇到的風(fēng)險和威脅,要從整體來分析和把握,不能那里有問題就補那里,要做到全面的保護(hù)和評估。
4、專業(yè)性:對于用戶的網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用,要從專業(yè)的角度來分析和把握,不能是一種大概的做法。
5、嚴(yán)密性:整個解決方案,要有一種很強的嚴(yán)密性,不要給人一種虛假的感覺,在設(shè)計方案的時候,需要從多方面對方案進(jìn)行論證。
2)安全技術(shù)實施策略
技術(shù)實施策略需要從八個方面進(jìn)行闡述:
1、網(wǎng)絡(luò)結(jié)構(gòu)安全:通過上一節(jié)的風(fēng)險分析,找出網(wǎng)絡(luò)結(jié)構(gòu)可能存在的問題,采用相關(guān)的安全產(chǎn)品和技術(shù),解決網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的安全風(fēng)險和威脅。
2、主機安全加固:通過上一節(jié)的風(fēng)險分析,找出主機系統(tǒng)可能存在的問題,采用相關(guān)的安全產(chǎn)品和技術(shù),解決主機系統(tǒng)的安全風(fēng)險和威脅。
3、防病毒:闡述如何實施桌面防病毒、服務(wù)器防病毒、郵件防病毒、網(wǎng)關(guān)防病毒以及統(tǒng)一的防病毒解決方案。
4、訪問控制:三種基本的訪問控制技術(shù)為路由器過濾訪問控制、防火墻訪問控制技術(shù)和主機自身訪問控制技術(shù)。
5、傳輸加密:通過采用相關(guān)的加密產(chǎn)品和加密技術(shù),保護(hù)卓越信息集團公司的信息傳輸安全,實現(xiàn)信息傳輸?shù)臋C密性、完整性和可用性。
6、身份認(rèn)證:通過采用相關(guān)的身份認(rèn)證產(chǎn)品和技術(shù),保護(hù)重要應(yīng)用系統(tǒng)的身份認(rèn)證,實現(xiàn)信息使用的加密性和可用性。
7、入侵檢測技術(shù):通過采用相關(guān)的入侵檢測產(chǎn)品和技術(shù),對網(wǎng)絡(luò)和重要主機系統(tǒng)進(jìn)行實時的監(jiān)控。
8、風(fēng)險評估:通過采用相關(guān)的風(fēng)險評估工具和技術(shù),對網(wǎng)絡(luò)和重要的主機系統(tǒng)進(jìn)行連續(xù)的風(fēng)險和威脅分析。
3)安全管理工具
對安全項目中所用到的安全產(chǎn)品進(jìn)行集中、統(tǒng)一、安全的管理和培訓(xùn)的產(chǎn)品和技術(shù)。
1、緊急響應(yīng)
制定詳細(xì)的緊急響應(yīng)計劃,及時的響應(yīng)用戶的網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用可能會遭到的破壞。
2、災(zāi)難恢復(fù)
制定詳細(xì)的災(zāi)難恢復(fù)計劃,及時的把用戶遇到的網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用的破壞,恢復(fù)到正常狀態(tài),并且能夠消除產(chǎn)生風(fēng)險和威脅的根源。
在充分滿足合規(guī)要求的同時,云安全管理平臺致力于為云用戶提供立體的、全面的安全防護(hù)能力,保護(hù)云計算用戶在云上資產(chǎn)的訪問、使用、數(shù)據(jù)的安全
(2)遠(yuǎn)程接入安全
對擁有大量租戶的云系統(tǒng)來說,云租戶選擇將企業(yè)內(nèi)部的業(yè)務(wù)系統(tǒng)部署在云上,需要為租戶在云上的業(yè)務(wù)提供安全可靠的遠(yuǎn)程訪問,建立企業(yè)分支與云之間的具有保密性的網(wǎng)絡(luò)連接是十分必要的,以提高溝通效率和資源利用效率。此外,云租戶的工作人員出差時也需要訪問系統(tǒng)內(nèi)部的一些信息資源,這時同樣需要建立保密的網(wǎng)絡(luò)連接。虛擬專用網(wǎng)(Virtual Private Network,VPN)技術(shù)以其靈活、安全、經(jīng)濟、易擴展的特點,滿足了這部分需求。
VPN解決方案,可提供的安全解決能力包括IPsec VPN、SSL VPN等遠(yuǎn)程接入方式。IPSec是業(yè)界標(biāo)準(zhǔn)的網(wǎng)絡(luò)安全協(xié)議,可以為IP網(wǎng)絡(luò)通信提供加密服務(wù),保護(hù) TCP/IP 通信免遭竊聽和篡改,從而有效抵御網(wǎng)絡(luò)攻擊。IPSec VPN幫助云上租戶解決了分支安全接入云平臺的問題。但是它對移動辦公用戶(出差人員)遠(yuǎn)程接入的問題無法解決,SSL VPN解決方案正好滿足了這部分需求,而且SSL VPN具有細(xì)粒度控制、免客戶端軟件安裝等其它特點。
VPN接入網(wǎng)關(guān)是整個VPN解決方案的核心部分。它支持多種VPN業(yè)務(wù),如L2TP VPN、IPSec VPN、GRE VPN等,它可以針對客戶需求通過互聯(lián)網(wǎng)線路、租用線等方式接入到云網(wǎng)絡(luò)內(nèi)部,構(gòu)建Internet、Intranet、Extranet等多種形式的VPN。SSL VPN解決方案的特點:
接入靈活:采用B/S架構(gòu),直接使用“瀏覽器”完成VPN接入。當(dāng)員工需要進(jìn)行遠(yuǎn)程接入時,其移動終端不需要特別配置,降低了維護(hù)成本和使用難度。
細(xì)化控制:能夠根據(jù)用戶個人身份和主機安全狀態(tài)授予其不同的訪問權(quán)限。在面向合作伙伴時,也可以根據(jù)情況,靈活地授予合作伙伴不同的訪問權(quán)限。
在實際的組網(wǎng)中,租戶可以根據(jù)云上業(yè)務(wù)的特點和并發(fā)訪問數(shù)量,采用IPsec、SSL結(jié)合靈活多樣的組網(wǎng)方式,用最合適的方案滿足租戶在云上的VPN接入需求。
隨著云上的業(yè)務(wù)越來越多,租戶IT應(yīng)用的不斷增加以及來自外部訪問的增多,邊界安全依舊是最重要的安全問題之一。傳統(tǒng)的將網(wǎng)絡(luò)劃分內(nèi)網(wǎng)辦公區(qū)、數(shù)據(jù)中心區(qū)、外聯(lián)數(shù)據(jù)區(qū)、互聯(lián)網(wǎng)連接區(qū)等分區(qū)保護(hù)的方式已經(jīng)不再適合云上的安全需求。云內(nèi)的訪問流量包括虛擬網(wǎng)絡(luò)內(nèi)部的東西向訪問流量和來自外部網(wǎng)絡(luò)的南北向流量,需要分別為這兩種流量提供安全防護(hù)手段。
考慮到云上網(wǎng)絡(luò)流量的變化,我們提出以下一代防火墻、防病毒模塊、入侵防御(IPS)模塊為支撐的南北向防護(hù)方案和以主機防火墻、主機IPS為核心的東西向邊界安全解決方案。網(wǎng)絡(luò)邊界安全關(guān)注的來自外部的南北向流量中的安全威脅。

(3)防病毒
防火墻內(nèi)置的防間諜軟件功能可以對500余萬種間諜軟件實現(xiàn)防護(hù),利用雙向攔截C&C(命令與控制)通信,避免失陷服務(wù)器進(jìn)一步造成危害。作為漏洞防護(hù)有效的補充,除了預(yù)防木馬后門、病毒蠕蟲、僵尸網(wǎng)絡(luò)之以外,支持自定義簽名的方式識別間諜軟件的特征。智慧防火墻深度集成漏洞防護(hù)、間諜軟件防護(hù)等應(yīng)用層安全功能,通過單引擎一次性數(shù)據(jù)處理對穿越數(shù)據(jù)中心出口的所有流量進(jìn)行深度威脅檢測。啟用智慧防火墻的漏洞可對緩沖區(qū)溢出、跨站腳本、拒絕服務(wù)等3000余種漏洞利用攻擊進(jìn)行防護(hù)。
內(nèi)置的防間諜軟件功能可以對500余萬種間諜軟件實現(xiàn)防護(hù),利用雙向攔截C&C(命令與控制)通信,避免失陷服務(wù)器進(jìn)一步造成危害。作為漏洞防護(hù)有效的補充,除了預(yù)防木馬后門、病毒蠕蟲、僵尸網(wǎng)絡(luò)之以外,支持自定義簽名的方式識別間諜軟件的特征。
系統(tǒng)總體架構(gòu)設(shè)計
3.1 系統(tǒng)架構(gòu)概述
在技術(shù)架構(gòu)層面,我公司提出以大數(shù)據(jù)+企業(yè)+政務(wù)的創(chuàng)新模式,并融合云計算、移動互聯(lián)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等相關(guān)技術(shù)而形成開放式的云化操作系統(tǒng)。其整體架構(gòu)分為采集層(邊緣層)、IaaS層、PaaS層、SaaS層共4層的體系架構(gòu),如下圖所示:

采集層(邊緣層)是基礎(chǔ),支持?jǐn)?shù)十種的相關(guān)協(xié)議數(shù)據(jù)采集能力,可與企業(yè)端設(shè)備有機整合,可通過智能網(wǎng)關(guān)或工控機實現(xiàn)邊緣端的配置、數(shù)據(jù)、模型與云端的互聯(lián)互通。
IaaS層是支撐,本平臺采用招標(biāo)人自建的IT基礎(chǔ)設(shè)施,可與其完美適配。
PaaS層是核心,按照平臺架構(gòu)職責(zé)分為三大子平臺:
1、PaaS-D大數(shù)據(jù)平臺,是以國產(chǎn)Hadoop(BEH)或Cassandra為底層數(shù)據(jù)服務(wù)環(huán)境,整合關(guān)系型數(shù)據(jù)庫、時序數(shù)據(jù)庫、文本數(shù)據(jù)庫等多款產(chǎn)品,提供工業(yè)大數(shù)據(jù)存儲、管理、計算、分析和服務(wù)能力。
2、PaaS-P通用應(yīng)用開發(fā)平臺,提供支持傳統(tǒng)工業(yè)軟件快速云化的自研軟件如動態(tài)模型引擎、流程引擎、動態(tài)表單工具、開發(fā)平臺與IDE插件等,和支持構(gòu)建新型工業(yè)APP的自研工具如微服務(wù)治理平臺、工業(yè)建模工具、數(shù)據(jù)挖掘工具、二三維組態(tài)軟件等,同時大量融合了工業(yè)領(lǐng)域常用的流程工具、仿真工具和行業(yè)知識和機理基礎(chǔ)工具。
3、PaaS-B通用業(yè)務(wù)平臺,提供基于工業(yè)的常見業(yè)務(wù)能力服務(wù)。包含常見的設(shè)備管理、設(shè)備監(jiān)控、設(shè)備事件、設(shè)備分析、設(shè)備組態(tài)等組件能力。
SaaS層是關(guān)鍵,圍繞政務(wù)服務(wù)系統(tǒng)、企業(yè)服務(wù)系統(tǒng)和公眾服務(wù)系統(tǒng)等應(yīng)用場景,構(gòu)建市級智慧能源管理節(jié)能云平臺。
3.2 系統(tǒng)應(yīng)用拓?fù)?/strong>
按照實用性和易用性原則,針對不同使用者,應(yīng)用架構(gòu)涉及政務(wù)服務(wù)系統(tǒng)、企業(yè)服務(wù)系統(tǒng)和公眾服務(wù)系統(tǒng)等三類應(yīng)用。
運銷管理系統(tǒng)包括基礎(chǔ)設(shè)置、合同管理、煤質(zhì)管理、運銷計劃、運銷管理、運銷報表、運銷開票等模塊。
本運銷系統(tǒng)主要以基礎(chǔ)設(shè)置、合同管理、煤質(zhì)管理、運銷計劃、運銷管理、運銷報表、運銷開票等七個子系統(tǒng),涵蓋了運銷業(yè)務(wù)的全過程和全部信息,本文以其中幾個典型模塊為例,具體介紹本系統(tǒng)的詳細(xì)設(shè)計及技術(shù)實現(xiàn)要點。
基礎(chǔ)設(shè)置子系統(tǒng)功能結(jié)構(gòu)如圖。本部分功能是整個運銷系統(tǒng)的基礎(chǔ)常用信息部分。根據(jù)運銷業(yè)務(wù)的特點,我們對常用的信息進(jìn)行了編碼并進(jìn)行了相關(guān)的設(shè)置,在界面上采用統(tǒng)一的輸入風(fēng)格,其中包括買方信息、煤礦信息、產(chǎn)品信息、行業(yè)信息等,這樣便于使用、修改和維護(hù)。整個基礎(chǔ)設(shè)置部分業(yè)務(wù)比較簡單,在此以買方設(shè)置為例介紹基礎(chǔ)信息部分的設(shè)計。
基礎(chǔ)設(shè)置子系統(tǒng)包括買方設(shè)置、煤炭設(shè)置、產(chǎn)品設(shè)置、車站設(shè)置、行業(yè)設(shè)置、電力部門、運輸類型、鐵運歸口等模塊。
合同管理系統(tǒng)管理各類合同的申請、審批以及合同變更等。
通過合同中心,將合同的所有相關(guān)資料歸集在一起,建立合同檔案,管理合同的附件、協(xié)議等。
自動記錄合同的變更歷史,自動記錄合同發(fā)票、合同結(jié)算細(xì)節(jié);自動記錄合同入庫信息,跟蹤供應(yīng)商合同執(zhí)行情況。
合同文本可以包括WORD、EXCEL等文檔,包括掃描,鏈接附件。
合同付費申請:完成合同付款申請操作。
合同付費審查:主要功能是完成合同付款的審查操作。
合同查詢及報表主要功能特性:
可按合同編號查詢合同的整體情況,包括審批、基本情況、執(zhí)行情況。
可按合同種類、執(zhí)行情況、簽訂日期等條件查詢。
可打印相關(guān)合同臺帳、報表。
運銷報表是煤炭行業(yè)運銷管理系統(tǒng)中運銷業(yè)務(wù)過程及結(jié)果的直接反映,它能具體反映當(dāng)日(月)煤炭銷售的實際情況,為煤炭銷售提供決策支持。正因為如此,根據(jù)運銷業(yè)務(wù)的過程、性質(zhì)的不同,面對不同決策需求,在運銷系統(tǒng)中,分為各種各樣的報表,完成不同類型、不同格式數(shù)據(jù)的統(tǒng)計和匯總功能。運銷報表功能結(jié)構(gòu)如圖,運銷報表子系統(tǒng)包括產(chǎn)銷運報表、運銷日報等。

運銷開票是煤炭行業(yè)運銷管理系統(tǒng)中煤炭銷售業(yè)務(wù)和銷售效益的聯(lián)結(jié)紐帶,開票單項目包含銷售煤炭數(shù)量、質(zhì)量、價格、運輸費用以及用戶的相關(guān)財務(wù)信息等。由于其是銷售業(yè)務(wù)的經(jīng)濟反映,涉及財務(wù)、稅收等方面,因此,對該系統(tǒng)數(shù)據(jù)要求詳實,業(yè)務(wù)要求嚴(yán)謹(jǐn)。運銷開票子系統(tǒng)包括開票單錄入、開票單審核、開票單審批、開票單查詢、開票單統(tǒng)計等模塊。

開票單錄入:各辦事處的銷售人員在煤炭發(fā)運到客戶方之后,在和客戶方對運量和煤質(zhì)等信息確認(rèn)之后,根據(jù)確認(rèn)的該批煤炭銷售的相關(guān)信息填制錄入,形成開票結(jié)算單,作為結(jié)算的原始數(shù)據(jù)。
開票單審核:由計調(diào)科負(fù)責(zé)對相關(guān)人員填寫的開票單進(jìn)行審核,在檢查無誤之后,交由領(lǐng)導(dǎo)審批。
開票單審批:由運銷公司領(lǐng)導(dǎo)根據(jù)情況進(jìn)行審批,審批后交由財務(wù)處,依此開具銷售發(fā)票。
在貨款開票單中,編號按照辦事處的拼音縮寫+當(dāng)前月份+3位流水號自動生成,例如3月份開具的第四單據(jù)號為JN03004。對于開頭部分信息從客戶檔案中自動獲取。對于最終的報價能夠根據(jù)輸入的銷量和結(jié)算價位進(jìn)行自動計算合計數(shù)。其中結(jié)算量的計算公式為:
結(jié)算量=礦發(fā)量+虧盈噸-扣水-未收到
結(jié)算價=結(jié)算車板價/結(jié)算到站價
價稅合計=結(jié)算量×結(jié)算價
合計=價稅合計+短運費+運費

煤炭開票系統(tǒng)流程
安全檢查是煤炭行業(yè)運銷管理系統(tǒng)中實現(xiàn)對企業(yè)各類安全檢查從檢查組織、檢查內(nèi)容、問題整改、驗收進(jìn)行全面性流程化管理。由安全檢查計劃、安全檢查通知、安全檢查管理、安全檢查總結(jié)、標(biāo)準(zhǔn)化檢查表各子模塊完成。模塊分類如圖所示。
①安全檢查計劃:為提高檢查質(zhì)量,公司、分公司、車間在安全檢查前先在系統(tǒng)上制定檢查計劃,檢查計劃主要包括檢查提醒時間、檢查主題、檢查時間、被檢查單位、檢查負(fù)責(zé)人、檢查組織部門、參加檢查人員、主要檢查內(nèi)容,同時可上傳有關(guān)具體檢查要求等文件,檢查計劃制定后,系統(tǒng)將自動提醒被檢查單位、檢查負(fù)責(zé)人和參加檢查人員做好檢查準(zhǔn)備。系統(tǒng)以檢查主題、發(fā)布人、檢查組織單位、所屬單位、檢查時間為檢查記錄內(nèi)容形成所有檢查計劃的主頁面,以方便公司、分公司對各項安全檢查進(jìn)行管理。
②安全檢查管理:利用該子模塊實現(xiàn)對安全檢查問題的閉環(huán)管理。首先,檢查后,檢查人員將檢查問題錄入系統(tǒng),錄入內(nèi)容包括安全檢查主題(從檢查計劃相關(guān)檢查主題選擇錄入)、整改單位、檢查組織單位及負(fù)責(zé)人、檢查問題、問題地點、整改期限,然后通過“下一步”操作,將檢查問題信息下發(fā)責(zé)任單位,同時提醒責(zé)任單位安全管理部門。第二步,由責(zé)任單位安全管理部門針對檢查問題制定和填寫整改措施、明確整改負(fù)責(zé)人、設(shè)備主題車間驗收負(fù)責(zé)人和分公司驗收負(fù)責(zé)人,然后通過“下一步”操作,將檢查問題和相關(guān)責(zé)任下發(fā)到整改負(fù)責(zé)人、各驗收負(fù)責(zé)人,同時提醒相關(guān)負(fù)責(zé)任人。第三步,整改負(fù)責(zé)人將檢查問題整改后,由設(shè)備主題車間安全管理人員進(jìn)行整改驗收,驗收合格并簽字后,再有分公司安全管理部門相關(guān)人員驗收簽字,形成安全檢查問題的閉環(huán)管理。為了強化對檢查問題限期治理的嚴(yán)肅性,系統(tǒng)按照整改期限對檢查問題主頁面上所有檢查問題分四種顏色顯示,離整改期限較長時(一般設(shè)置2-3天)記錄顯示正常色,離整改期限較短時(一般少于2-3天)記錄顯示黃色,以提醒相關(guān)責(zé)任單位、責(zé)任人需盡快采取措施進(jìn)行整改,超過整改期限時仍未完成整改、驗收的,檢查問題記錄將顯示紅色報警,在整改期限以前完成整改和驗收的,相關(guān)記錄顯示綠色。通過安全檢查問題記錄的顏色變化,即能起到督促整改的作用,也有利于安全監(jiān)督部門的安全考核管理。同時通過安全檢查管理子模塊,也建立了歷次安全檢查問題與整改的詳細(xì)檔案,有利于安全管理分析,進(jìn)一步采取加強安全管理的措施。
③安全檢查總結(jié):每次安全檢查以及整改后,根據(jù)檢查問題的質(zhì)量和整改效果,由檢查人員在系統(tǒng)安全檢查總結(jié)格式上填寫安全檢查總結(jié),主要包括檢查的組織、檢查問題主要內(nèi)容、責(zé)任單位組織整改情況、整改措施制定和整改效果情況、下一步需采取的措施。所有安全檢查總結(jié)以記錄的形式顯示于安全檢查總結(jié)子模塊主頁面,供大家研究和改進(jìn)。
④安全檢查表:為提高每次安全檢查質(zhì)量,在檢查前制定和公布標(biāo)準(zhǔn)安全檢查表,每項安全檢查表以檢查主題、公布單位、發(fā)布人為主要查詢信息顯示于安全檢查表子模塊主頁面,以便于大家學(xué)習(xí)和應(yīng)用。
由分公司或公司填寫安全檢查問題,若是公司填寫則首先把流程推到分公司整改,分公司有權(quán)限可再推到分公司所屬的車間整改,車間整改完后返回給分公司驗收,后判斷此問題時候需要公司驗收,如是則由公司驗收,否則直接結(jié)束;若開始的檢查問題是分公司填寫,則首先有車間整改,整改后公司驗收,后在判斷時候上報公司,最后結(jié)束即可。
3.3 平臺技術(shù)架構(gòu)
第一層是邊緣,通過大范圍、深層次的數(shù)據(jù)采集,以及異構(gòu)數(shù)據(jù)的協(xié)議轉(zhuǎn)換與邊緣處理,構(gòu)建工業(yè)互聯(lián)網(wǎng)平臺的數(shù)據(jù)基礎(chǔ)。一是通過各類通信手段接入不同設(shè)備、系統(tǒng)和產(chǎn)品,采集海量數(shù)據(jù);二是依托協(xié)議轉(zhuǎn)換技術(shù)實現(xiàn)多源異構(gòu)數(shù)據(jù)的歸一化和邊緣集成;三是利用邊緣計算設(shè)備實現(xiàn)底層數(shù)據(jù)的匯聚處理,并實現(xiàn)數(shù)據(jù)向云端平臺的集成。
第二層是平臺,基于通用PaaS疊加大數(shù)據(jù)處理、工業(yè)數(shù)據(jù)分析、工業(yè)微服務(wù)等創(chuàng)新功能,構(gòu)建可擴展的開放式云操作系統(tǒng)。一是提供工業(yè)數(shù)據(jù)管理能力,將數(shù)據(jù)科學(xué)與工業(yè)機理結(jié)合,幫助制造企業(yè)構(gòu)建工業(yè)數(shù)據(jù)分析能力,實現(xiàn)數(shù)據(jù)價值挖掘;二是把技術(shù)、知識、經(jīng)驗等資源固化為可移植、可復(fù)用的工業(yè)微服務(wù)件庫,供開發(fā)者調(diào)用;三是構(gòu)建應(yīng)用開發(fā)環(huán)境,借助微服務(wù)組件和工業(yè)應(yīng)用開發(fā)工具,幫助用戶快速構(gòu)建定制化的工業(yè)APP。
第三層是應(yīng)用,形成滿足不同行業(yè)、不同場景的工業(yè)SaaS和工業(yè)APP,形成工業(yè)互聯(lián)網(wǎng)平臺的終價值。一是提供了設(shè)計、生產(chǎn)、管理、服務(wù)等一系列創(chuàng)新性業(yè)務(wù)應(yīng)用。二是構(gòu)建了良好的工業(yè)APP創(chuàng)新環(huán)境,使開發(fā)者基于平臺數(shù)據(jù)及微服務(wù)功能實現(xiàn)應(yīng)用創(chuàng)新。
首先,邊緣層是基礎(chǔ)。在平臺的邊緣層,對海量設(shè)備進(jìn)行連接和管理,并利用協(xié)議轉(zhuǎn)換實現(xiàn)海量工業(yè)數(shù)據(jù)的互聯(lián)互通和互操作;同時,通過運用邊緣計算技術(shù),實現(xiàn)錯誤數(shù)據(jù)剔除、數(shù)據(jù)緩存等預(yù)處理以及邊緣實時分析,降低網(wǎng)絡(luò)傳輸負(fù)載和云端計算壓力。
其次,平臺層是核心。在通用PaaS架構(gòu)上進(jìn)行二次開發(fā),實現(xiàn)工業(yè)PaaS層的構(gòu)建,為工業(yè)用戶提供海量工業(yè)數(shù)據(jù)的管理和分析服務(wù),并能夠積累沉淀不同行業(yè)、不同領(lǐng)域內(nèi)技術(shù)、知識、經(jīng)驗等資源,實現(xiàn)封裝、固化和復(fù)用,在開放的開發(fā)環(huán)境中以工業(yè)微服務(wù)的形式提供給開發(fā)者,用于快速構(gòu)建定制化工業(yè)APP,打造完整、開放的工業(yè)操作系統(tǒng)。
最后,應(yīng)用層是關(guān)鍵。通過自主研發(fā)或者是引入第三方開發(fā)者的方式,平臺以云化軟件或工業(yè)APP形式為用戶提供設(shè)計、生產(chǎn)、管理、服務(wù)等一系列創(chuàng)新性應(yīng)用服務(wù),實現(xiàn)價值的挖掘和提升。
3.4 系統(tǒng)數(shù)據(jù)流向架構(gòu)
(1)數(shù)據(jù)架構(gòu)
工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)架構(gòu)主要由采集交換層、集成處理層、建模分析層和決策控制層構(gòu)成,其目標(biāo)是全方位采集工業(yè)各個環(huán)節(jié)的數(shù)據(jù),將這些數(shù)據(jù)匯聚融合后進(jìn)行深度分析,來支持工業(yè)生產(chǎn)、組織、服務(wù)各個環(huán)節(jié)的決策和控制,形成反饋閉環(huán)。
1、采集交換層
完成數(shù)據(jù)從企業(yè)內(nèi)部系統(tǒng)和外部數(shù)據(jù)源獲取數(shù)據(jù),并實現(xiàn)不同系統(tǒng)之間數(shù)據(jù)的交換的功能。將工業(yè)互聯(lián)網(wǎng)中各組件、各層數(shù)據(jù)匯聚在一起,要實現(xiàn)數(shù)據(jù)從底層向上層的匯聚,以及在不同系統(tǒng)間傳遞,需要完善的數(shù)據(jù)采集交換技術(shù)支持。工業(yè)互聯(lián)網(wǎng)系統(tǒng)一般采取消息中間件技術(shù)實現(xiàn)。
2、集成處理層
將物理系統(tǒng)實體的抽象和虛擬化,將清洗轉(zhuǎn)換后的數(shù)據(jù)與虛擬制造中的產(chǎn)品、設(shè)備、產(chǎn)線等實體相互關(guān)聯(lián)起來。涉及數(shù)據(jù)的清洗轉(zhuǎn)換加載技術(shù)、數(shù)據(jù)存儲管理技術(shù)、數(shù)據(jù)查詢與計算技術(shù),以及響應(yīng)的數(shù)據(jù)安全管理和數(shù)據(jù)質(zhì)量管理等技術(shù)支撐。
3、建模分析層
在虛擬化的實體之上構(gòu)建仿真測試、流程分析、運營分析等分析模型,用于在原始數(shù)據(jù)中提取特定的模式和知識,為各類決策的產(chǎn)生提供支持。工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)分析建模技術(shù),從大的方面可以分為基于知識驅(qū)動的方法和基于數(shù)據(jù)驅(qū)動的方法。其中,知識驅(qū)動的分析方法建立在工業(yè)系統(tǒng)的物理化學(xué)原理,工藝及管理經(jīng)驗等知識之上;數(shù)據(jù)驅(qū)動的分析方法完全在數(shù)據(jù)空間中通過算法尋找規(guī)律和知識。
4、決策控制層
基于數(shù)據(jù)分析結(jié)果,生成描述、診斷、預(yù)測、決策、控制等不同應(yīng)用,形成優(yōu)化決策建議或產(chǎn)生直接控制指令。
工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用可以分為5大類:
1)描述類
主要利用報表、可視化等技術(shù),匯總展現(xiàn)工業(yè)互聯(lián)網(wǎng)各個子系統(tǒng)的狀態(tài),使得操作管理人員可以在一個儀表盤上總覽全局狀態(tài)。此類應(yīng)用一般不給出明確的決策建議,完全依靠人來做決定。
2)診斷類
主要利用規(guī)則引擎、歸因分析等,對工業(yè)系統(tǒng)中的故障給出告警并提示故障可能的原因,輔助人工決策。
3)預(yù)測類
主要利用邏輯回歸、決策樹等,預(yù)測未來系統(tǒng)狀態(tài)并給出建議。
4)決策類
主要是利用隨機森林,決策樹等方法,提出經(jīng)營管理方面的決策建議。
5)控制類
根據(jù)高度確定的規(guī)則,直接通過數(shù)據(jù)分析產(chǎn)生的行動指令,控制生產(chǎn)系統(tǒng)采取行動。
(2)數(shù)據(jù)流向
企業(yè)端設(shè)備的數(shù)據(jù)采集:各單位通過端設(shè)備上各類能耗數(shù)據(jù)、設(shè)備運行數(shù)據(jù),數(shù)據(jù)采集服務(wù)器實時采集,大數(shù)據(jù)平臺采集各方數(shù)據(jù)后,進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化、加工、整合,形成數(shù)據(jù)資源庫,供政務(wù)服務(wù)平臺、企業(yè)服務(wù)平臺、公眾服務(wù)平臺使用。
大數(shù)據(jù)平臺可將優(yōu)化分析結(jié)果、報警結(jié)果、相關(guān)統(tǒng)計數(shù)據(jù)按權(quán)限、需求推送至相應(yīng)的用戶,為精細(xì)化管理,提供強有力的支撐,并指導(dǎo)其安全生產(chǎn)。

 


3.5 系統(tǒng)安全架構(gòu)
平臺安全架構(gòu)主要包含安全域劃分、系統(tǒng)自身安全、專用安全防護(hù)系統(tǒng)和信息安全管理四個層次的安全方案。針對綜合展示平臺的安全分析,基于上述設(shè)計原則,總體架構(gòu)如下。
基于大數(shù)據(jù)背景下安全保護(hù)技術(shù),指的是利用互聯(lián)網(wǎng)技術(shù)優(yōu)化大數(shù)據(jù)背景下信息收集、存儲以及處理等安全問題。對于大數(shù)據(jù)背景下的安全技術(shù)自身來講,網(wǎng)絡(luò)安全技術(shù)的具體體現(xiàn)有如下三點。
1)安全防護(hù)技術(shù)。安全防護(hù)技術(shù)是網(wǎng)絡(luò)安全技術(shù)中的核心組成部分,是符合信息傳輸需求的技術(shù)。在大數(shù)據(jù)背景下網(wǎng)絡(luò)安全防護(hù)技術(shù)是確保信息安全的主要技術(shù)之一,安全防護(hù)技術(shù)包含的種類比較多,其中比較典型的有防火墻技術(shù)、病毒防護(hù)技術(shù)、入侵檢測技術(shù)等。
2)加密技術(shù)。當(dāng)前,企業(yè)與個人互聯(lián)網(wǎng)用戶在不斷增加的同時,用戶對自身信息的安全程度也隨之加大。在大數(shù)據(jù)背景下若想保證用戶信息安全需合理應(yīng)用加密技術(shù)。如今,加密技術(shù)層面的研究主要以信息隱藏技術(shù)與密碼體制為主。能夠說,對于在大數(shù)據(jù)背景下安全保護(hù)技術(shù)而言加密技術(shù)的應(yīng)用具有不可或缺的作用。
3)建設(shè)網(wǎng)絡(luò)安全結(jié)構(gòu)。網(wǎng)絡(luò)安全結(jié)構(gòu)是否科學(xué),與大數(shù)據(jù)背景下信息安全保護(hù)水平有莫大關(guān)聯(lián)。對各類信息安全風(fēng)險制定相應(yīng)的優(yōu)化措施固然重要,但若是沒有科學(xué)有效的管理機制作為支撐的話,信息安全風(fēng)險相應(yīng)措施很難發(fā)揮出其實際效用。構(gòu)建網(wǎng)絡(luò)安全結(jié)構(gòu)的實際目標(biāo)為對網(wǎng)絡(luò)安全風(fēng)險進(jìn)行分析,并針對風(fēng)險的具體影響制定相應(yīng)的優(yōu)化措施。
通過大數(shù)據(jù)平臺建設(shè),結(jié)合邊緣計算和數(shù)據(jù)倉庫技術(shù),對海量數(shù)據(jù)進(jìn)行采集、計算、存儲、加工、服務(wù),統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和統(tǒng)計口徑,從而打造具有能源行業(yè)特色的“數(shù)據(jù)中臺”。通過“數(shù)據(jù)中臺”建設(shè),實現(xiàn)“數(shù)據(jù)標(biāo)準(zhǔn)化”、“內(nèi)核技術(shù)工具化”和“元數(shù)據(jù)驅(qū)動智能化”,建立統(tǒng)一數(shù)據(jù)體系和統(tǒng)一數(shù)據(jù)服務(wù)體系,形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲,形成大數(shù)據(jù)資產(chǎn)庫,進(jìn)而為政府能源管理、企業(yè)能源管理提供更高效、更準(zhǔn)確的數(shù)據(jù)支撐和工具支撐。
數(shù)據(jù)中臺的建設(shè),將結(jié)合企業(yè)的實際業(yè)務(wù)需求,按照統(tǒng)籌規(guī)劃、突出重點、分級建設(shè)、逐步完善的建設(shè)策略,從數(shù)據(jù)層面對各層面的信息資源(設(shè)備傳感器數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、經(jīng)營數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、視頻圖像數(shù)據(jù)、文件檔案信息等)進(jìn)行整合、治理、充分發(fā)揮和挖掘信息資源的潛在價值,提供面向生產(chǎn)保障、資產(chǎn)管理、運營分析等多維度分析和實時運行態(tài)勢展示。建立統(tǒng)一數(shù)據(jù)體系和統(tǒng)一的服務(wù)體系,實現(xiàn)數(shù)據(jù)共建、共享、共用,打造從“連接”到“平臺”再到“應(yīng)用”的立體式全方位服務(wù)。
系統(tǒng)支撐系統(tǒng)設(shè)計
4.1 應(yīng)用支撐系統(tǒng)標(biāo)準(zhǔn)規(guī)范
由于數(shù)據(jù)來源分布較多,故需要建立一套標(biāo)準(zhǔn)體系,包括平臺內(nèi)部數(shù)據(jù)類標(biāo)準(zhǔn),服務(wù)類標(biāo)準(zhǔn)和管理類標(biāo)準(zhǔn),重點是數(shù)據(jù)標(biāo)準(zhǔn)。
數(shù)據(jù)標(biāo)準(zhǔn)是為了使政府與企業(yè)之間使用和交換的數(shù)據(jù)一致及準(zhǔn)確,經(jīng)協(xié)商一致制定并經(jīng)批準(zhǔn),共同使用和重復(fù)使用的一種規(guī)范性文件。
數(shù)據(jù)標(biāo)準(zhǔn)是由一套管理規(guī)范、管控流程、技術(shù)工具共同組成的體系,通過體系逐步實現(xiàn)企業(yè)信息的標(biāo)準(zhǔn)化。
數(shù)據(jù)標(biāo)準(zhǔn)是在數(shù)據(jù)層面上對重要業(yè)務(wù)主體的統(tǒng)一規(guī)范,也是業(yè)務(wù)規(guī)范在數(shù)據(jù)層面上的實現(xiàn),數(shù)據(jù)標(biāo)準(zhǔn)實施依賴于業(yè)務(wù)部門之間的共識,以及業(yè)務(wù)與技術(shù)之間的配合。
數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè),要充分考慮對數(shù)據(jù)整體的設(shè)計,防止出現(xiàn)數(shù)據(jù)的一致性和可用性的矛盾沖突。如數(shù)據(jù)需求缺乏規(guī)范,造成數(shù)據(jù)對象多份存儲,存儲結(jié)構(gòu)各異,嚴(yán)重影響數(shù)據(jù)共享;數(shù)據(jù)標(biāo)準(zhǔn)依據(jù)各異,造成統(tǒng)計口徑無法匹配;業(yè)務(wù)口徑不統(tǒng)一,造成溝通困難,發(fā)生歧義。建設(shè)時要統(tǒng)籌規(guī)劃,避免問題的發(fā)生。
數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè),將在業(yè)務(wù)、技術(shù)和管理方面為企業(yè)提供支撐。
業(yè)務(wù)方面,一方面可以提升業(yè)務(wù)的規(guī)范性,通過標(biāo)準(zhǔn)可以明確很多數(shù)據(jù)業(yè)務(wù)含義,使得不同業(yè)務(wù)部門之間,以及業(yè)務(wù)與技術(shù)之間溝通更加順暢,避免歧義;另一方面可以提升數(shù)據(jù)對業(yè)務(wù)分析的支撐度,如通過數(shù)據(jù)標(biāo)準(zhǔn),可以明確的把某個數(shù)據(jù)主題信息分為多類,例如基本信息、聯(lián)系信息、財務(wù)信息等,為多維度分析和深度挖掘提供依據(jù)。更為重要的是:通過數(shù)據(jù)標(biāo)準(zhǔn),實現(xiàn)數(shù)據(jù)信息的統(tǒng)一一致,使得數(shù)據(jù)很容易在各業(yè)務(wù)部門之間流轉(zhuǎn)。
技術(shù)方面,首先相同結(jié)構(gòu)的數(shù)據(jù),更容易實現(xiàn)共享和交換;其次,相同的數(shù)據(jù)標(biāo)準(zhǔn),減少大量的轉(zhuǎn)換清洗工作,極大提升數(shù)據(jù)處理效率。
管理方面,數(shù)據(jù)標(biāo)準(zhǔn)更多的是能提供完整、及時、準(zhǔn)確、高質(zhì)量的數(shù)據(jù),為決策支持、精細(xì)化管理,特別是大數(shù)據(jù)應(yīng)用相同建設(shè)提供支撐。
(1)基礎(chǔ)設(shè)施即服務(wù)標(biāo)準(zhǔn)建設(shè)
云計算平臺總體功能框架分為基礎(chǔ)設(shè)施、分布式操作系統(tǒng)、云服務(wù)、安全管理和運維管理五個部分。
1)基礎(chǔ)設(shè)施主要包括計算存儲設(shè)備、網(wǎng)絡(luò)設(shè)備和安全設(shè)備等硬件設(shè)備。
2)分布式操作系統(tǒng)主要包括資源管理、分布式存儲系統(tǒng)、任務(wù)調(diào)度、虛擬化和服務(wù)管理五個方面。
3)云服務(wù)主要包括負(fù)載均衡、虛擬主機、對象存儲服務(wù)、分布式數(shù)據(jù)庫與大數(shù)據(jù)計算服務(wù)五個方面。
4)安全功能主要包括網(wǎng)絡(luò)安全、主機安全、分布式操作系統(tǒng)安全、數(shù)據(jù)安全、云服務(wù)安全和安全管理六個方面。
5)運維管理主要包括自動化運維、集群監(jiān)控、運維管理與自助服務(wù)四個方面。
應(yīng)用系統(tǒng)是云計算平臺所支撐的上層應(yīng)用,構(gòu)建在云服務(wù)之上。通過云服務(wù)的組合,云計算平臺為聯(lián)機事務(wù)處理類應(yīng)用、聯(lián)機分析處理類應(yīng)用、搜索類應(yīng)用、大數(shù)據(jù)分析類應(yīng)用與內(nèi)容管理類應(yīng)用提供服務(wù)支撐。
(2)數(shù)據(jù)即服務(wù)標(biāo)準(zhǔn)建設(shè)
1)數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范
實現(xiàn)對數(shù)據(jù)元、同義詞的規(guī)范管理,對業(yè)務(wù)系統(tǒng)進(jìn)行對標(biāo),同時建立數(shù)據(jù)質(zhì)量檢查規(guī)則,實現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化清洗和轉(zhuǎn)換。
2)數(shù)據(jù)元管理規(guī)范
對數(shù)據(jù)元進(jìn)行規(guī)范化管理,包括數(shù)據(jù)元增加、數(shù)據(jù)元修改等。對數(shù)據(jù)元的管理,實現(xiàn)數(shù)據(jù)元的全覆蓋,一是對已建系統(tǒng),逐個數(shù)據(jù)表進(jìn)行數(shù)據(jù)元關(guān)聯(lián),對有對應(yīng)數(shù)據(jù)元的進(jìn)行關(guān)聯(lián),無對應(yīng)數(shù)據(jù)元的新增同義詞或新增數(shù)據(jù)元;對于新建系統(tǒng),在標(biāo)準(zhǔn)結(jié)構(gòu)設(shè)計中開展數(shù)據(jù)元引用,已有數(shù)據(jù)元可引用的直接關(guān)聯(lián),沒有對應(yīng)數(shù)據(jù)元的新增同義詞或新增數(shù)據(jù)元。
3)數(shù)據(jù)采集管理規(guī)范
能源云大數(shù)據(jù)資源目錄面向各個能源板塊提供數(shù)據(jù)采集錄入規(guī)范,通過綜合考慮已發(fā)布規(guī)范的基礎(chǔ)上,制定了覆蓋全行業(yè)的數(shù)據(jù)采集標(biāo)準(zhǔn),實現(xiàn)數(shù)據(jù)的全面采集,同時避免重復(fù)采集的問題。
4)數(shù)據(jù)服務(wù)管理規(guī)范
本規(guī)范是各部門、各板塊在數(shù)據(jù)申請、使用、回收全生命周期過程中必須遵守的行為準(zhǔn)則。
數(shù)據(jù)申請規(guī)范包括數(shù)據(jù)申請、審批、發(fā)放、回收。流程支持基于WEB的可視化自定義,需要經(jīng)過申請、審核、自動交付等幾個環(huán)節(jié),并與運維配置管理庫、運維流程、用戶部門等模塊集成,形成相應(yīng)的審批記錄。
5)數(shù)據(jù)質(zhì)量管理規(guī)范
基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理流程,主要包含兩個方面:元數(shù)據(jù)自身的數(shù)據(jù)質(zhì)量管理以及基于數(shù)據(jù)質(zhì)量管理系統(tǒng)之上的經(jīng)營分析系統(tǒng)管理流程。
6)管理機制
元數(shù)據(jù)管理的引入為數(shù)據(jù)質(zhì)量提供了系統(tǒng)的保證,但由于需求不斷變化,而元數(shù)據(jù)涉及一些手工整理的業(yè)務(wù)和技術(shù)元數(shù)據(jù),數(shù)據(jù)質(zhì)量的提高必將是一個長期、持續(xù)的過程,因此,有必要成立一個有效的組織機構(gòu)保障數(shù)據(jù)管理工作的順利進(jìn)行。
組織機構(gòu)職責(zé)
相關(guān)外部組織
質(zhì)量控制流程
需求變更控制流程
數(shù)據(jù)質(zhì)量問題處理流程
元數(shù)據(jù)變更維護(hù)流程
錯誤數(shù)據(jù)維護(hù)流程
(2)平臺即服務(wù)標(biāo)準(zhǔn)建設(shè)
1)基礎(chǔ)平臺功能管理規(guī)范
PaaS平臺數(shù)據(jù)庫為PaaS管理系統(tǒng),內(nèi)部各服務(wù)組件以及外部應(yīng)用提供數(shù)據(jù)資源的存儲和管理功能。
2)數(shù)據(jù)庫即服務(wù)功能
數(shù)據(jù)庫即服務(wù)(DBaaS)提供一個統(tǒng)一的數(shù)據(jù)庫訪問服務(wù),它屏蔽了底層的異構(gòu)數(shù)據(jù)庫特性,為上層應(yīng)用提供了簡單方便的數(shù)據(jù)庫訪問接口,將應(yīng)用和數(shù)據(jù)庫隔離開來,降低了耦合性,增強了系統(tǒng)的靈活性和健壯性。包括:數(shù)據(jù)訪問接口、數(shù)據(jù)路由、數(shù)據(jù)庫連接池服務(wù)、數(shù)據(jù)庫信息管理、數(shù)據(jù)管理、數(shù)據(jù)庫歸檔管理、對象-數(shù)據(jù)表映射管理、監(jiān)控告警。
3)中間件即服務(wù)功能
中間件即服務(wù)提供一個統(tǒng)一的應(yīng)用服務(wù)器能力使用層。它可以連接提供各種服務(wù)能力的多種中間件服務(wù)器,并為這些異構(gòu)中間件的使用提供統(tǒng)一的接入能力。
中間件即服務(wù)還需要提供對基礎(chǔ)設(shè)施的接入能力,從而使中間件上的各種服務(wù)能有效的按照應(yīng)用的需求使用基礎(chǔ)設(shè)施的資源管控能力來調(diào)度底層的IT資源。同時,中間件即服務(wù)還需要提供與后端的數(shù)據(jù)庫相整合的能力,提供對數(shù)據(jù)庫即服務(wù)能力的有效使用,從而形成應(yīng)用、中間件平臺與數(shù)據(jù)庫之間的解耦,進(jìn)一步增強整個系統(tǒng)的靈活性、健壯性和可擴展性。
中間件即服務(wù)作為應(yīng)用和獨立的應(yīng)用服務(wù)器系統(tǒng)、數(shù)據(jù)庫、以及基礎(chǔ)設(shè)施之間的統(tǒng)一媒介,應(yīng)該具備以下功能:
提供支持Web應(yīng)用、Web/REST服務(wù)和OSGI組件的應(yīng)用服務(wù)器系統(tǒng)
提供集成服務(wù)器
提供客戶端輔助開發(fā)工具
PaaS平臺運行環(huán)境部署功能
提供PaaS平臺根據(jù)應(yīng)用需要自動伸縮的能力
提供PaaS平臺集成各種服務(wù)的能力
提供多租戶管理服務(wù)
提供對數(shù)據(jù)庫的連接能力
提供統(tǒng)一數(shù)據(jù)交換模型
4)技術(shù)服務(wù)功能規(guī)范
技術(shù)服務(wù)基于PaaS平臺的數(shù)據(jù)庫和中間件,根據(jù)PaaS平臺的通用技術(shù)要求選擇特定產(chǎn)品并做必要的封裝,使其適用于為PaaS平臺業(yè)務(wù)服務(wù)和前端應(yīng)用提供與業(yè)務(wù)無關(guān)的服務(wù),如日志服務(wù),緩存服務(wù)等。
5)業(yè)務(wù)服務(wù)功能規(guī)范
將可標(biāo)準(zhǔn)化、可共享的業(yè)務(wù)邏輯剝離出來,按照統(tǒng)一的規(guī)范和標(biāo)準(zhǔn)經(jīng)過抽象封裝形成的標(biāo)準(zhǔn)服務(wù)。所有業(yè)務(wù)服務(wù)都將注冊到服務(wù)總線,并通過服務(wù)總線統(tǒng)一發(fā)布服務(wù)。應(yīng)用模塊對服務(wù)的需求通過服務(wù)總線調(diào)度,獲取特定的實例。
6)軟件即服務(wù)標(biāo)準(zhǔn)建設(shè)
開發(fā)者開發(fā)的應(yīng)用能否在在商店上線并且健康運行,不僅需要成熟可靠的技術(shù)支撐,還需要應(yīng)用開發(fā)過程的規(guī)范的保障,所以需要建立以下規(guī)范:服務(wù)資源申請、服務(wù)資源審核、組建應(yīng)用規(guī)范、應(yīng)用上線規(guī)范、應(yīng)用發(fā)布規(guī)范、
服務(wù)的實施不僅需要成熟可靠的技術(shù)支撐,業(yè)務(wù)過程的規(guī)范管控也是服務(wù)實施的必要保障,需建立以下過程規(guī)范:建立應(yīng)用系統(tǒng)邊界設(shè)計規(guī)范、建立服務(wù)發(fā)布規(guī)范。
4.2 基于微服務(wù)架構(gòu)的應(yīng)用支撐平臺
微服務(wù)是將單一應(yīng)用劃分為一組小的服務(wù),服務(wù)之間互相協(xié)調(diào)、配合,為用戶提供最終價值的架構(gòu)體系。而每個服務(wù)運行在獨立的進(jìn)程中,服務(wù)之間采用輕量級通信(通常是基于HTTP協(xié)議的Rest API),并且每個服務(wù)都承載著獨立的業(yè)務(wù)單元責(zé)任,能夠被獨立的部署和發(fā)布。
1)微服務(wù)治理管理
隨著大數(shù)據(jù)和云平臺的發(fā)展,企業(yè)和服務(wù)提供商正在尋找更好的方法將應(yīng)用程序部署在云環(huán)境中,微服務(wù)是解決方案中的重要環(huán)節(jié)。通過提供一整套微服務(wù)治理框架,可以實現(xiàn)對現(xiàn)有業(yè)務(wù)系統(tǒng)在業(yè)務(wù)領(lǐng)域的有效拆分,更好的聚焦業(yè)務(wù)需求,更快的響應(yīng)業(yè)務(wù)的變化。同時提高系統(tǒng)的穩(wěn)定性與容錯能力,為用戶提供更好的交互體驗。
微服務(wù)治理框架提供了一系列框架集合,利用Spring Boot的開發(fā)便利性巧妙地簡化了分布式系統(tǒng)基礎(chǔ)設(shè)施的開發(fā),如服務(wù)發(fā)現(xiàn)注冊、配置中心、消息總線、負(fù)載均衡、斷路器、數(shù)據(jù)監(jiān)控等,都可以用Spring Boot的開發(fā)風(fēng)格做到一鍵啟動和部署。功能包括:
2)服務(wù)注冊與發(fā)現(xiàn)
服務(wù)注冊與發(fā)現(xiàn)組件是一種進(jìn)程內(nèi)負(fù)載均衡的分布式方案,負(fù)載均衡和服務(wù)發(fā)現(xiàn)能力被分散到每一個服務(wù)消費者的進(jìn)程內(nèi)部,同時服務(wù)消費方和服務(wù)提供方之間是直接調(diào)用,沒有額外開銷,性能比較好。
3)服務(wù)調(diào)用
通過注冊中心調(diào)用服務(wù)spring cloud提供了Ribbon和Feign的集成。
Ribbon主要功能是提供客戶端的軟件負(fù)載均衡算法,將Netflix的中間層服務(wù)連接在一起。
Feign是一種聲明式、模板化的HTTP客戶端。Spring Cloud為Feign添加了Spring MVC的注解支持,并整合了Ribbon和Eureka來為使用Feign時提供負(fù)載均衡。
4)斷路器與監(jiān)控
斷路器是服務(wù)容錯的解決方案,凡是需要容錯的依賴點(服務(wù),緩存,數(shù)據(jù)庫訪問等)開發(fā)人員只需要將調(diào)用封裝在Hystrix Command里頭,則相關(guān)調(diào)用就自動置于Hystrix的彈性容錯保護(hù)之下。
5)在線API
自動生成在線API用于生成、描述、調(diào)用和可視化RESTful風(fēng)格的Web服務(wù)。
6)微服務(wù)開發(fā)管理
結(jié)合本項目需求和數(shù)據(jù)安全原則,規(guī)范微服務(wù)開發(fā)的業(yè)務(wù)流程,API門戶提供開放、阻塞、廢棄、銷毀等全生命周期管理功能;API網(wǎng)關(guān)提供整套安全防護(hù)手段,包括安全認(rèn)證、流量控制、防惡意攻擊、API調(diào)用質(zhì)量分析等功能,控制API的測試與使用;API驗證服務(wù)為框架提供API用戶登錄管理和密鑰管理支持;API監(jiān)控通過API網(wǎng)關(guān)提供訂閱、統(tǒng)計功能。

 


 

4.3 微服務(wù)測試
開發(fā)團隊采用的任何測試策略,都應(yīng)當(dāng)力求為服務(wù)內(nèi)部每個模塊的完整性,以及每個模塊之間、各個服務(wù)之間的交互,提供全面的測試覆蓋率,同時還要保持測試的輕便快捷。
自動化:測試任務(wù)的增加,要求測試人員必須把主要的精力用于將測試自動化,擺脫手動測試帶來的沉重負(fù)擔(dān)。當(dāng)然,自動化測試必須足夠穩(wěn)定、穩(wěn)健,不能動輒誤報,否則反而會導(dǎo)致很高的維護(hù)成本。
層次化:這意味著采用分層次的測試方法,粒度由細(xì)到粗,范圍由小到大。下面這幅度說明了幾個主要層次之間的關(guān)系:最底層的是單元測試(Unit Test),粒度最細(xì),速度最快,維護(hù)成本也最低。往上是針對每種服務(wù)內(nèi)部的各種模塊、業(yè)務(wù)流程的測試。最上面是基于前端UI的測試,這部分的粒度最粗,范圍最大(因為會覆蓋大多數(shù)服務(wù)),但是維護(hù)成本最高,因為稍微有些細(xì)微的變化就可能需要調(diào)整腳本。而且,由于基于前端,需要設(shè)置很多響應(yīng)時間和等待時間,所以速度越最慢。
可視化:為了降低交流成本,最好的辦法就是讓所有的測試結(jié)果可視化。這意味著將構(gòu)建(Build)、測試(Test)、部署(Deploy)所有這些相關(guān)任務(wù)構(gòu)建在一個流水線之中,讓所有團隊成員都可以隨時監(jiān)控項目進(jìn)度,找到阻礙項目的瓶頸。
4.4 微服務(wù)監(jiān)控
微服務(wù)架構(gòu)下,大部分功能模塊都是單獨部署、獨立運行的,彼此通過接口交互,都是無狀態(tài)的服務(wù),業(yè)務(wù)流會涉及多個服務(wù),復(fù)雜度會高很多。
服務(wù)概覽信息:如服務(wù)名稱、服務(wù)部署所在機房、主機、服務(wù)包含的API、服務(wù)相關(guān)配置信息、服務(wù)負(fù)責(zé)人、開發(fā)人員、運維人員信息等。
服務(wù)性能指標(biāo):如響應(yīng)實現(xiàn)、流量、成功、失敗數(shù)、請求頻率等。
服務(wù)拓?fù)潢P(guān)系:服務(wù)之間的調(diào)用關(guān)系。
服務(wù)調(diào)用鏈:服務(wù)的整個調(diào)用鏈監(jiān)控。
服務(wù)版本信息:服務(wù)版本,客戶端版本等。
服務(wù)治理狀態(tài):服務(wù)注冊情況、服務(wù)狀態(tài)、熔斷等。
組件內(nèi)部狀態(tài):活躍線程數(shù)、處理請求數(shù)等。
1)性能分析
微服務(wù)應(yīng)用在API發(fā)布平臺中的性能分析規(guī)范
從響應(yīng)時間,流量,失敗數(shù),異常日志數(shù)等維度進(jìn)行指標(biāo)評價。
2)健康檢查
微服務(wù)應(yīng)用在API發(fā)布平臺中的健康性檢查規(guī)范
對API的調(diào)用,請求,處理等是否按預(yù)定的流程運行進(jìn)行檢查。
3)訂閱統(tǒng)計
微服務(wù)應(yīng)用在API商店中訂閱數(shù)量、排名等參數(shù)分析
從訂閱量排名,使用量以及活躍度等維度進(jìn)行數(shù)據(jù)進(jìn)行分析。
4)訪問統(tǒng)計
微服務(wù)應(yīng)用在API商店中調(diào)用質(zhì)量、調(diào)用頻次、響應(yīng)時間等的統(tǒng)計分析
為監(jiān)控API服務(wù)的調(diào)用情況,建設(shè)了API管理的監(jiān)控分析系統(tǒng)。API服務(wù)每次的調(diào)用情況都會在API網(wǎng)關(guān)有日志記錄,監(jiān)控分析系統(tǒng)通過各維度統(tǒng)計,分析不同指標(biāo),得出統(tǒng)計結(jié)果,比如API服務(wù)調(diào)用質(zhì)量、調(diào)用頻次、響應(yīng)時間、調(diào)用報文等圖表報告。
調(diào)用質(zhì)量:調(diào)用成功失敗次數(shù)
調(diào)用頻次:時間范圍內(nèi)調(diào)用次數(shù)統(tǒng)計
響應(yīng)時間,API接口請求相應(yīng)平均時間
系統(tǒng)集成方案
5.1 系統(tǒng)網(wǎng)絡(luò)拓?fù)?/strong>
對一體化信息管理系統(tǒng)的網(wǎng)絡(luò)、硬件進(jìn)行統(tǒng)一規(guī)劃設(shè)計,統(tǒng)一部署,避免信息孤島。搭建云平臺,采用虛擬化技術(shù),按照招標(biāo)人的要求,根據(jù)系統(tǒng)的軟件,進(jìn)行資源的分配,提高系統(tǒng)的可靠性、安全性及穩(wěn)定性。
該網(wǎng)絡(luò)設(shè)計的特點:
1、實現(xiàn)一體化信息管理系統(tǒng)網(wǎng)絡(luò)的冗余,保證一體化信息管理系統(tǒng)網(wǎng)絡(luò)的可靠性、數(shù)據(jù)信息完整性。
2、采用高速通信網(wǎng)絡(luò):保證大量生產(chǎn)實時信息高速無瓶頸的傳輸和交換,為企業(yè)內(nèi)部數(shù)據(jù)中心的存儲訪問、外網(wǎng)數(shù)據(jù)的訪問,以及內(nèi)外網(wǎng)數(shù)據(jù)/圖像等通信應(yīng)用提供可靠、安全和高性能的傳輸平臺。
3、確?,F(xiàn)場控制系統(tǒng)的安全性和一體化信息系統(tǒng)本身的安全性:采取安全網(wǎng)通、防病毒軟件、網(wǎng)關(guān)機、防火墻等安全防護(hù)措施,隔離一體化信息系統(tǒng)與控制系統(tǒng)網(wǎng)絡(luò)。
建成后的一體化信息管理系統(tǒng)網(wǎng)絡(luò)系統(tǒng)需要滿足如下需求:
1、網(wǎng)絡(luò)系統(tǒng)滿足企業(yè)職員日常工作需求,保證企業(yè)各應(yīng)用管理系統(tǒng)正常高效率運行;
2、網(wǎng)絡(luò)提供數(shù)據(jù)、語音、視頻多媒體的傳輸能力,在技術(shù)上要采用最先進(jìn)、成熟的網(wǎng)絡(luò)技術(shù)來滿足目前的網(wǎng)上應(yīng)用需求,并考慮未來的發(fā)展;
3、網(wǎng)絡(luò)主干設(shè)備應(yīng)選用高帶寬的、先進(jìn)的萬兆位線速路由交換技術(shù),能夠承載和交換各種信息;
4、網(wǎng)絡(luò)系統(tǒng)選用的硬件設(shè)備和軟件系統(tǒng)應(yīng)當(dāng)具有良好的性能價格比,網(wǎng)絡(luò)系統(tǒng)的日常管理和維護(hù)簡單方便,經(jīng)濟實用,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和技術(shù)符合多媒體應(yīng)用對主干網(wǎng)絡(luò)的要求;
5、網(wǎng)絡(luò)系統(tǒng)具有良好的可管理性,網(wǎng)管系統(tǒng)具有監(jiān)測、故障診斷、故障隔離、過濾設(shè)置、靈活實現(xiàn)用戶級別的設(shè)置等功能;
6、網(wǎng)絡(luò)QOS控制,確保企業(yè)關(guān)鍵應(yīng)用的優(yōu)先級;
5.2 云計算虛擬網(wǎng)絡(luò)集成方案
通過分析云計算對傳統(tǒng)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)帶來的挑戰(zhàn),我們可以從兩個方面來應(yīng)對。一是通過構(gòu)建高性能、高可靠的網(wǎng)絡(luò),從而滿足云計算給網(wǎng)絡(luò)帶來的壓力;二是通過構(gòu)建虛擬化網(wǎng)絡(luò)來滿足云計算中由于虛擬機部署、遷移 、以及安全策略實施對網(wǎng)絡(luò)提出的靈活性、安全性的要求。
總的來說,為滿足云計算的業(yè)務(wù)要求,數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計的四大要點包括:高性能交換、扁平化設(shè)計、虛擬化應(yīng)用、透明化交換。通過合理的網(wǎng)絡(luò)設(shè)計最終實現(xiàn)云計算網(wǎng)絡(luò)“縱向通道虛化、橫向資源整合”的目標(biāo)。
云資源池網(wǎng)絡(luò)架構(gòu)的示意圖如下:

5.3 云計算基礎(chǔ)服務(wù)層
云基礎(chǔ)服務(wù)(IaaS):在充分利用既有投資的基礎(chǔ)上,利用云計算池化技術(shù),建設(shè)計算池、存儲池、網(wǎng)絡(luò)池、容災(zāi)池,根據(jù)應(yīng)用情況隨需拓展,實現(xiàn)動態(tài)拓展、按需分配,資源共享。
本系統(tǒng)采用國際領(lǐng)先的成熟大數(shù)據(jù)云計算技術(shù);建立在私有云基礎(chǔ)上的大數(shù)據(jù)平臺,支持VMware vSphere等主流云操作系統(tǒng),構(gòu)建穩(wěn)定的基礎(chǔ)設(shè)施和服務(wù)平臺,平臺規(guī)模可實現(xiàn)彈性伸縮,處理運算能力隨平臺規(guī)模線形增長,以應(yīng)對業(yè)務(wù)和技術(shù)的飛速增長。
(1)云平臺技術(shù)特點
1)云平臺核心技術(shù)具有國內(nèi)自主知識產(chǎn)權(quán),并具備保障系統(tǒng)運行的數(shù)據(jù)庫、操作系統(tǒng)等完整方案。針對數(shù)據(jù)分析、共享交換等應(yīng)用,提供更高標(biāo)準(zhǔn)的安全防護(hù)措施。
2)云平臺充分兼容市面上常見的云計算接口,采用業(yè)界主流虛擬化技術(shù);虛擬服務(wù)器的操作系統(tǒng),支持主流操作系統(tǒng);虛擬服務(wù)器支持主流中間件和數(shù)據(jù)庫等軟件產(chǎn)品。
3)云平臺設(shè)備采用成熟運用于國內(nèi)云計算、大數(shù)據(jù)項目建設(shè)的國內(nèi)知名品牌產(chǎn)品。
(2)計算資源虛擬化架構(gòu)設(shè)計


 

服務(wù)器資源池化技術(shù)很好地解決了傳統(tǒng)服務(wù)器系統(tǒng)建設(shè)的問題,通過提高物理服務(wù)器利用率大幅度削減物理服務(wù)器購置需求、數(shù)量和運營成本;通過利用服務(wù)器資源池化中CPU、內(nèi)存、IO資源的動態(tài)調(diào)整能力實現(xiàn)對業(yè)務(wù)應(yīng)用資源需求的動態(tài)響應(yīng),提升業(yè)務(wù)應(yīng)用的服務(wù)質(zhì)量;通過在線虛擬機遷移實現(xiàn)更高的可用性和可靠性以及各種基于分析應(yīng)用的跨物理服務(wù)器的調(diào)度等等。因此,服務(wù)器資源池化技術(shù)是新一代數(shù)據(jù)中心最理想的解決方案。
服務(wù)器虛擬化架構(gòu)設(shè)計是服務(wù)器虛擬化技術(shù)運用的核心。服務(wù)器虛擬化架構(gòu)設(shè)計直接決定了整個服務(wù)器資源體系對應(yīng)用系統(tǒng)的承載能力、運行效率以及可靠性,必須根據(jù)行之有效的設(shè)計方法從多個方面和維度進(jìn)行綜合考慮而得出。
機房和信息展示終端
如果我公司能有幸中標(biāo),根據(jù)市能源局的實際需求,依照機房建設(shè)標(biāo)準(zhǔn)建設(shè)模塊化標(biāo)準(zhǔn)機房,滿足大數(shù)據(jù)平臺建設(shè)需求。我公司依據(jù)實際情況配置展示顯示終端,建設(shè)高質(zhì)量LCD大屏、信息調(diào)度臺、打印機和辦公桌椅等設(shè)備。
對機房防雷接地系統(tǒng)進(jìn)行規(guī)范設(shè)計,保障終端設(shè)備的運行安全。
 

案例搜索
合作聯(lián)系
010-82872655
典型案例