應(yīng)用背景
中國(guó)科學(xué)院A類戰(zhàn)略性先導(dǎo)科技專項(xiàng)“地球大數(shù)據(jù)科學(xué)工程”（“地球大數(shù)據(jù)”專項(xiàng)）于2018年1月1日正式立項(xiàng)，執(zhí)行期5年。專項(xiàng)匯集了中國(guó)科學(xué)院及國(guó)內(nèi)外眾多單位的優(yōu)勢(shì)資源，致力于構(gòu)建包含資源、環(huán)境、生物、生態(tài)等多個(gè)領(lǐng)域的大數(shù)據(jù)與云服務(wù)共享平臺(tái)，重點(diǎn)開展數(shù)字一帶一路、全景美麗中國(guó)、生物多樣性與生態(tài)安全、三維信息海洋和時(shí)空三極環(huán)境等方面的基礎(chǔ)與應(yīng)用研究，建設(shè)國(guó)際領(lǐng)先的數(shù)字地球科學(xué)平臺(tái)，推動(dòng)地球大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新與地球系統(tǒng)科學(xué)的重大突破和科學(xué)發(fā)現(xiàn)，實(shí)現(xiàn)全方位宏觀決策支持和社會(huì)公眾知識(shí)傳播服務(wù)，為“一帶一路”、“數(shù)字中國(guó)”、人類命運(yùn)共同體和聯(lián)合國(guó)可持續(xù)發(fā)展目標(biāo)等國(guó)內(nèi)外重大戰(zhàn)略提供科技支撐和決策支持。
地球大數(shù)據(jù)共享服務(wù)平臺(tái)集成多領(lǐng)域海量數(shù)據(jù)，是服務(wù)數(shù)據(jù)驅(qū)動(dòng)的科學(xué)發(fā)現(xiàn)與決策支持的科學(xué)平臺(tái)。目前共享數(shù)據(jù)總量超過(guò)5PB，其中對(duì)地觀測(cè)數(shù)據(jù)1.8PB，生物生態(tài)數(shù)據(jù)2.6PB，大氣海洋數(shù)據(jù)0.4PB，基礎(chǔ)地理數(shù)據(jù)及地面觀測(cè)數(shù)據(jù)0.2PB；地層學(xué)與古生物數(shù)據(jù)庫(kù)49萬(wàn)條數(shù)據(jù)記錄、中國(guó)生物物種名錄360萬(wàn)條、微生物資源數(shù)據(jù)庫(kù)42萬(wàn)條、組學(xué)數(shù)據(jù)目前在線10億條。
圖片與數(shù)據(jù)來(lái)自于地球大數(shù)據(jù)科學(xué)工程數(shù)據(jù)共享服務(wù)系統(tǒng)網(wǎng)站
存在挑戰(zhàn)
地球大數(shù)據(jù)專項(xiàng)的項(xiàng)目團(tuán)隊(duì)來(lái)自國(guó)內(nèi)外多個(gè)學(xué)科領(lǐng)域的129家科研單位，包括空天信息創(chuàng)新研究院、微小衛(wèi)星創(chuàng)新研究院、計(jì)算機(jī)網(wǎng)絡(luò)信息中心、地理科學(xué)與資源研究所、植物研究所、海洋研究所、西北生態(tài)環(huán)境資源研究院等，參與的研究人員涵蓋高性能計(jì)算、大數(shù)據(jù)技術(shù)、空間技術(shù)遙感科學(xué)、地理學(xué)、地質(zhì)學(xué)、大氣科學(xué)、海洋科學(xué)、生物科學(xué)、生態(tài)環(huán)境科學(xué)等多個(gè)學(xué)科領(lǐng)域。
地球大數(shù)據(jù)專項(xiàng)是典型的跨地域、跨研究所、跨學(xué)科領(lǐng)域的項(xiàng)目。專項(xiàng)執(zhí)行過(guò)程中在海量數(shù)據(jù)遠(yuǎn)程匯交、遠(yuǎn)程在線計(jì)算、數(shù)據(jù)備份容災(zāi)以及網(wǎng)絡(luò)安全等諸多方面存在挑戰(zhàn)。
舉例來(lái)說(shuō)，如果按照以往的模式，繼續(xù)使用研究所出口共享帶寬來(lái)匯交數(shù)據(jù)，將會(huì)遇到流量擁塞、丟包和延時(shí)等問(wèn)題，一方面無(wú)法充分利用帶寬資源，另一方面，因競(jìng)爭(zhēng)資源導(dǎo)致網(wǎng)絡(luò)質(zhì)量不佳，造成數(shù)據(jù)需要頻繁重傳（據(jù)權(quán)威測(cè)量數(shù)據(jù)顯示，即使是很小的損失（遠(yuǎn)遠(yuǎn)小于1％）也足以使TCP性能降低50倍以上），嚴(yán)重影響數(shù)據(jù)傳輸效率。即使按1Gbps帶寬來(lái)計(jì)算，每天最大傳輸?shù)臄?shù)據(jù)為10TB，若需要傳輸1PB的數(shù)據(jù)，則至少需要105天。因此，提高海量數(shù)據(jù)的傳輸速率已成為“地球大數(shù)據(jù)科學(xué)工程”急需解決的問(wèn)題。
解決方案
針對(duì)科研領(lǐng)域海量數(shù)據(jù)傳輸需求，依托中國(guó)科技網(wǎng)優(yōu)質(zhì)網(wǎng)絡(luò)資源，中國(guó)科技云推出了“科技云通”（http://www.cstcloud.cn/#/details?id=1206878599190155266&breadcrumb=index）服務(wù)，為用戶快速構(gòu)建專網(wǎng)，幫助用戶實(shí)現(xiàn)高速、安全的科研大數(shù)據(jù)傳輸，支撐科研應(yīng)用的創(chuàng)新發(fā)展。
了解到“地球大數(shù)據(jù)科學(xué)工程”有大數(shù)據(jù)傳輸?shù)囊?，根?jù)專項(xiàng)的實(shí)際情況，中國(guó)科技云提出了利用光纜資源新建“CASEarth數(shù)據(jù)傳輸專網(wǎng)”整體解決方案。
通過(guò)與空天院、大氣所、微生物所等專項(xiàng)承擔(dān)單位充分討論調(diào)研，深入了解專項(xiàng)數(shù)據(jù)匯交過(guò)程中的傳輸需求，分析各單位數(shù)據(jù)傳輸中遇到的瓶頸，制定切實(shí)可行的實(shí)施方案。為確保專網(wǎng)順利搭建，協(xié)調(diào)沿途多個(gè)節(jié)點(diǎn)單位，落實(shí)光纜施工，加快建設(shè)進(jìn)度，落實(shí)最后一公里接入，有力保障了專項(xiàng)數(shù)據(jù)匯交進(jìn)度。建成的萬(wàn)兆數(shù)據(jù)傳輸專網(wǎng)已覆蓋空天院、大氣所、微生物所、計(jì)算機(jī)網(wǎng)絡(luò)信息中心、青藏所、基因組所、文獻(xiàn)中心等節(jié)點(diǎn)。此外，依托中國(guó)科技云的“統(tǒng)一運(yùn)管平臺(tái)”（http://www.cstcloud.cn/#/details?id=1207157208572235777&breadcrumb=index），服務(wù)團(tuán)隊(duì)快速搭建專網(wǎng)監(jiān)控和運(yùn)維系統(tǒng)，為專網(wǎng)提供7X24服務(wù)，確保了專網(wǎng)穩(wěn)定運(yùn)行。
成效與展望
通過(guò)數(shù)據(jù)傳輸專網(wǎng)建設(shè)，解決項(xiàng)目承擔(dān)單位研究所網(wǎng)絡(luò)出口數(shù)據(jù)傳輸瓶頸，對(duì)全程相關(guān)網(wǎng)絡(luò)設(shè)備、傳輸終端進(jìn)行優(yōu)化調(diào)整，構(gòu)建適合大數(shù)據(jù)傳輸?shù)膶Ｏ砀咚偻ǖ?，從而顯著提升大數(shù)據(jù)傳輸效率，保障專項(xiàng)數(shù)據(jù)的高速匯交與下載順利進(jìn)行。
在傳輸速度上，已提升10倍以上，改變了以往硬盤搬運(yùn)數(shù)據(jù)的方式，根據(jù)監(jiān)測(cè)，在實(shí)際使用過(guò)程中數(shù)據(jù)的最高傳輸速率已超6Gbps。
針對(duì)海量科研數(shù)據(jù)傳輸?shù)耐袋c(diǎn)問(wèn)題，中國(guó)科技云已為不同應(yīng)用場(chǎng)景定制推出了多項(xiàng)特色服務(wù)，還將繼續(xù)加強(qiáng)SD-WAN、虛擬專網(wǎng)和大數(shù)據(jù)傳輸工具等方面技術(shù)研究和應(yīng)用，助力科研范式轉(zhuǎn)變，為科研用戶提供會(huì)用、好用和想用的產(chǎn)品與服務(wù)。
撰稿人：余寧、崔悅明
