電工電氣企業 | 電工電氣產品 | 電工電氣商機 | 電工電氣會展 | 電工電氣資訊
中科曙光助力“地球大數據科學工程”,用云計算“讀懂”地球
http://www.vanessaamalia.com 2019-08-19 15:12:00 21IC電子網
電工電氣網】訊

  在科學技術不斷發展的今天,人們通過對地觀測、地表傳感器網絡、遙感技術等手段,獲取了海量的地球科學數據集,這些數據統稱為地球大數據。

  2015年,聯合國發布了可持續發展目標議程,以期面向2030年解決貧困、不平等和全球變化等的挑戰。這議程的眾多目標中,地球大數據至少可以為實現其中八個提供不同形式的支持,特別是純凈的水源、低廉的能源、可持續發展的城市、全球變化、水下生命、陸上生命、健康和平等發展目標。

  2017年中科院成立了為期五年的“地球大數據科學工程”先導專項,其中大數據云服務平臺是“地球大數據科學工程”先導專項的重要建設任務之一,屬于綜合型基礎設施項目。

  構建“大數據云服務平臺”的關鍵在于兩個層面,一是對中科院積累的海量基礎物理數據及其相互關系的建模;二是將對數據使用邏輯實現“服務化”,以支撐各單位實現數據共享和個性化應用孵化。

  如何助力“地球大數據科學工程”構建包含資源、環境、生物、生態等多個領域的大數據云服務平臺,將海量“地球大數據”掌握在手中并實現云化?中科院和中科曙光通過“院企合作”的方式,將中科院的科研成果注入曙光Cloudview云計算操作系統產品中,實現科研成果的工程化。

  依托專家力量,將其對海量數據的獨特使用邏輯框架化,并形成對底層資源支撐要求的量化,曙光以此作為輸入,在原有Cloudview云計算操作系統的基礎上,擴充資源調度功能并優化,為地球大數據科學工程提供IaaS層資源支撐及資源管理與調度,通過靈活的調度、簡便的運維,讓“大”數據輕松一手掌握,推動并實現地球大數據技術創新、重大科學發現和一站式全方位宏觀決策支持。

  建設國際領先的大數據云服務平臺,需不斷提高對資源層高標準的使用要求,如彈性、高性能的計算資源、海量的數據存儲、高并發的數據訪問、簡便的集群運維管理等。針對“地球大數據科學工程”的大數據云系統建設所形成的曙光云計算Cloudview操作系統的優勢主要體現為三個方面:

  第一,體現在大規模彈性及異構計算,達到更高的計算能力。

  基于數百臺計算節點的調度提供計算資源的彈性擴展,滿足大氣、海洋領域科學應用對計算資源不斷變化的需求,不會產生計算資源瓶頸,不同業務系統之間均衡使用,使資源得到充分、合理的使用。利用GPU透傳、PCI設備透傳能力,CPU獨占特性,為業務應用提供資源獨占能力,避免資源的爭搶、達到更高性能的計算能力,支撐基于Hadoop大數據系統及Spark等流式數據處理,幫助用戶實現一鍵構建大數據處理環境功能。第二,支持高并發海量存儲、提供更優的數據治理能力。

  中科曙光Cloudview云計算操作系統提供海量的存儲管理,提供統一的存儲管理與調度。可同時對接幾十PB級文件存儲系統和對象存儲系統,“文件存儲系統”主要用于存儲來自全國不同科研組織提交的科研數據,提供數據遠程匯交的人機接口和功能,同時提供空間配額、訪問權限控制、數據隔離等功能。“對象存儲系統”主要用于將匯交的、有價值的科研數據以對象格式存儲,便于后期的數據處理和發布共享。數據網絡采用10Gb/40Gb網絡,10Gb網絡用于虛擬機鏡像在鏡像存儲與計算資源池之間的傳輸,“數據內網”采用40Gb高速網絡,用于科研數據在超級計算系統、大數據云系統、數據存儲系統之間的相互流轉。

  第三,體現在簡單的運維,實現自動化交付。

  整個系統的易用性,體現在上層應用的使用時候的便利性,專家建議對各使用單位的系統使用習慣做認真分類,并提出“強資源編排”的應用模塊化構建理念。曙光Cloudview云計算操作系統提供資源編排服務,可以實現從基礎架構到應用的端到端的自動化交付工作。資源編排服務采用完全圖形化UI操作,用戶可以通過簡單的圖表拖拽進行可視化編排。資源編排實現了資源及其拓撲關系的自動執行,不僅獨立資源可按配置實現自動化部署,各資源間的拓撲關系也將自動執行,幫助運維管理人員省去大量機械重復的手動配置操作。

  通過與客戶緊密合作,中科曙光Cloudview云計算操作系統為“地球大數據科學工程”提供了高可靠、高性能、高彈性、易運維的IaaS平臺,切實提高了客戶在基礎架構和應用程序構建效率,為系統正常運行及業務創新保駕護航。讓海量復雜的地球大數據,輕松靈活地掌握在手中。

文章關鍵字:
版權與免責聲明
秉承互聯網開放、包容的精神,電工電氣網歡迎各方(自)媒體、機構轉載、引用我們的原創內容,但請嚴格注明"來源:電工電氣網";同時,我們倡導尊重與保護知識產權,如發現本站文章存在版權問題,煩請將版權疑問、授權證明、版權證明、聯系方式等,發郵件至db123@netsun.com,我們將第一時間核實、處理。

在線
客服

在線客服服務時間:8:00-17:00

客服
熱線

024-83959308
網站服務熱線

生意
名片

微營銷
擁有自己的手機名片

天天av