應(yīng)用背景
大型強子對撞機(LHC)是世界上最大、能量最高的粒子對撞機。它是由歐洲核子研究組織(CERN)于1998年至2008年間與由34個國家的10000多名科學家、數(shù)百所大學和實驗室合作建造的。
第一次碰撞是在2010年實現(xiàn)的,能量為每束3.5兆電子伏(TeV),約為之前世界紀錄的四倍。升級后,它達到了每束6.5兆電子伏(13兆電子伏總碰撞能量,目前的世界紀錄)。2018年底,它進入了為期兩年的停機期,以便進一步升級。
截至2010年6月,預算約90億美元的大型強子對撞機是迄今為止建造的最昂貴的科學儀器之一。該項目的總成本預計為44億美元,其中11億美元用于歐洲核子研究中心對實驗的貢獻。該設(shè)施費用的1/3來自歐洲原子核研究委員會,1/3由其成員國額外提供,另外1/3可望從日本和美國獲得。1998年,中國由中科院、國家自然科學基金會、科技部三家出資1600萬元,在LHC上建立兩個探測器,供中國科學家參加CERN的合作研究。
LHC的主要目標分包括:
1、我們目前對宇宙的理解是不完整的。粒子和力的標準模型總結(jié)了我們目前對粒子物理學的知識。這一標準模型已經(jīng)過許多實驗的檢驗,證明它在預測以前未發(fā)現(xiàn)的粒子存在方面的成功。然而,它留下了許多未解決的問題,LHC將幫助回答這些問題。
2、大型強子對撞機還幫助我們研究反物質(zhì)的奧秘。在大爆炸時,物質(zhì)和反物質(zhì)的產(chǎn)生量肯定是相同的,但從我們迄今為止的觀察來看,我們的宇宙只是由物質(zhì)組成的。大型強子對撞機可以為此問題提供一個答案。
3、除了質(zhì)子間碰撞的研究,大型強子對撞機上的重離子碰撞將提供一個觀察早期宇宙中存在的物質(zhì)狀態(tài)的窗口,稱為“夸克-膠子等離子體”。當重離子以高能量碰撞時,它們會在瞬間形成一個由如此熾熱、致密的物質(zhì)組成的“火球”,可以通過實驗加以研究。
在運行了幾年之后,任何粒子物理實驗通常都會受到回報遞減的影響:隨著該裝置所能獲得的關(guān)鍵結(jié)果開始完成,以后幾年的運行所發(fā)現(xiàn)的結(jié)果與前幾年成比例地減少。高亮度大型強子對撞機的升級于2018年6月開始。升級的目的是將機器的光度提高10倍,高達1035厘米?2秒?1,為觀察罕見的過程提供更好的機會,并改進統(tǒng)計邊緣測量。
LHC之前一直處于長期停機狀態(tài),但其已經(jīng)于2021年5月重啟,并將一直運行到2024年底。2025年將再開啟新一輪升級,直到“HL-LHC”于2027年登場。目前,HL-LHC 已完成了第一個節(jié)點的建造。
HL-LHC這一史無前例的大裝置有望觀測到極端稀有的物理現(xiàn)象并極大提高測量精度。為充分利用“高亮度LHC”提供的海量數(shù)據(jù),LHC四大實驗也均開展了探測器升級計劃。
存在挑戰(zhàn)
內(nèi)部和外部網(wǎng)絡(luò)通信對CERN至關(guān)重要。在內(nèi)部,超過50000公里的光纖為整個CERN站點提供網(wǎng)絡(luò)連接。CERN數(shù)據(jù)中心也是CERN互聯(lián)網(wǎng)交換點(CIXP)的所在地,這是一個運營商的中立交換點,通過它,CERN在互聯(lián)網(wǎng)發(fā)展中發(fā)揮了核心作用。1991年,歐洲80%的互聯(lián)網(wǎng)國際流量容量都安裝在CERN數(shù)據(jù)中心。
隨著網(wǎng)絡(luò)發(fā)展,IPv4地址不斷耗盡,WLCG網(wǎng)站在獲得必要的IPv4地址方面遇到了困難,未來新網(wǎng)站只能通過IPv6訪問。為了整合這些站點,在WLCG中全面支持IPv6變得非常重要。雖然HEPiX IPv6工作組正在積極測試WLCG應(yīng)用的IPv6兼容性,但仍需要改善IPv6的互聯(lián)性。LHCOPN站點的IPv6連接已達到100%,而具有IPv6連接的LHCONE站點的比例較低。預計將持續(xù)改善IPv6互聯(lián)互通。
解決方案
國際高能物理網(wǎng)格(WLCG)WLCG最令人印象深刻的組成部分之一是其網(wǎng)絡(luò)和連接。由于在CERN建立了良好的連接和專用的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,它可以將數(shù)據(jù)分配到全球數(shù)百個合作機構(gòu)。自第二個長達四年的LHC運行期開始,全球的數(shù)據(jù)傳輸率也達到了新的峰值,約每秒60千兆字節(jié)的速率,比LHC運行1期間的速率高出約三倍。
WLCG是一個全球計算基礎(chǔ)設(shè)施,其任務(wù)是提供計算資源,以存儲、分發(fā)和分析LHC生成的數(shù)據(jù),使所有合作伙伴,無論其物理位置如何,都能平等地獲取數(shù)據(jù)。
WLCG建立在Ian Foster和Carl Kesselman最初于1999年提出的網(wǎng)格技術(shù)思想之上。WLCG將世界各地的計算中心和網(wǎng)格資源連在一起,用于處理和分析LHC的高能物理實驗產(chǎn)生的海量數(shù)據(jù)。該網(wǎng)格系統(tǒng)集成了世界上幾種主流的網(wǎng)格部件并在其上部署物理軟件,從而為相關(guān)的高能物理實驗提供高性能的計算服務(wù)。
WLCG的特點包括:
物理學的關(guān)鍵工具:有史以來最先進的科學數(shù)據(jù)采集和分析系統(tǒng),提供對LHC數(shù)據(jù)的近實時訪問。
無縫存?。河嬎阗Y源包括數(shù)據(jù)存儲容量、處理能力、傳感器、可視化工具等。
全球合作:42個國家,170個計算中心,每天超過200萬個任務(wù),100萬個計算機核心,1EB的存儲空間。
促進研究:WLCG幫助物理學家于2012年7月4日宣布發(fā)現(xiàn)希格斯玻色子。
成效與展望
為了支持國際高能物理網(wǎng)格(WLCG)的分層計算模型,其間部署了LHC光學專用網(wǎng)絡(luò)(LHCOPN),以實現(xiàn)從0級站點到1級站點的預處理實驗數(shù)據(jù)的分發(fā),并附帶支持1級站點之間的數(shù)據(jù)移動處理。而后,隨著計算模型發(fā)展成為一個更加網(wǎng)狀的配置,對2級站點之間以及2級站點與1級站點之間的數(shù)據(jù)移動的支持變得越來越重要,開發(fā)了LHC開放網(wǎng)絡(luò)環(huán)境(LHCONE),為第2層提供了必要的網(wǎng)絡(luò)支持。
1) LHCOPN

LHCOPN拓撲結(jié)構(gòu)
LHCOPN的連接如圖所示。它是為LHC數(shù)據(jù)傳輸和分析而保留的,具有高度彈性的體系結(jié)構(gòu),并依賴于單獨部署或作為捆綁包部署的專用長距離10G和100G以太網(wǎng)鏈路。隨著LHCONE的發(fā)展,第1層站點之間的大部分流量都從LHCOPN轉(zhuǎn)移到LHCONE。此外,LHCOPN鏈路由LHCONE備份,因為CERN本身可直接連接到LHCONE。
1) LHCOPN
LHCONE是從計算模型更新中自然產(chǎn)生的,面向完全分布式處理,需要在任何1級和2級站點之間進行傳輸。它允許分擔昂貴的資源成本,并使HEP(高能物理)流量與普通互聯(lián)網(wǎng)流量分開。
LHCONE的核心服務(wù)是第三層VPN(虛擬專用網(wǎng)絡(luò)),目前正在進行點對點(P2P)服務(wù)的工作,提供一定帶寬的按需鏈接。它依靠路由VPN,使用VRF(虛擬路由和推進)實現(xiàn),為HEP數(shù)據(jù)傳輸和分析提供專用的全球骨干網(wǎng)。

LHCONE L3VPN服務(wù)功能包括:
-以高帶寬連接第1層、第2層和第3層的全球主干網(wǎng)
-專用于HEP數(shù)據(jù)傳輸?shù)膸?/p>
-允許繞過慢速外圍防火墻的受信任流量

LHCONE L3VPN結(jié)構(gòu)
LHCONE發(fā)展的意義:
因為社區(qū)希望它發(fā)揮作用
- –從網(wǎng)絡(luò)運營商的角度來看,它可以有效地提供標記流量,這些流量可以通過流量工程來管理其對網(wǎng)絡(luò)中特殊資源(如跨洋鏈路)的使用。
- –從網(wǎng)絡(luò)政治的角度來看,它允許LHC流量使用一般互聯(lián)網(wǎng)流量無法使用的資源(主要是跨洋鏈接)。
- –從LHC社區(qū)的視角來看,它提供了一種創(chuàng)建和管理定義良好且相對可信的環(huán)境的方法。
因為CERN有(松散的)中央管理
因為LHCONE使用與一般互聯(lián)網(wǎng)相同的協(xié)議、路由、流程和程序進行操作。
- –這使得它能夠在全球范圍內(nèi)跨網(wǎng)絡(luò)域擴展。
由于LHC是許多R&E網(wǎng)絡(luò)環(huán)境中的一個重要項目,因此它受到了供應(yīng)商網(wǎng)絡(luò)的工程師關(guān)注。
因為它受到參與網(wǎng)絡(luò)的國家和perfSONAR的密切監(jiān)控
- –如果要保持端到端的高吞吐量,perfSONAR監(jiān)控至關(guān)重要

LHCONE L3VPN結(jié)構(gòu)
LHCONE是研究教育網(wǎng)絡(luò)供應(yīng)商的一個合作項目,合作組織包括ESnet、GEANT、Internet2、SURFnet和NORDUnet等。2018年,在中國科技網(wǎng)、中國教育網(wǎng)的大力支持和幫助下,依托中歐國際互聯(lián)網(wǎng)絡(luò)資源,中國科學院高能物理研究所正式開通LHCONE。通過中國科技云中歐陸纜和中歐海纜線路,分別與歐洲科研網(wǎng)絡(luò)GEANT建立LHCONE VPN連接;通過中國科技云西雅圖節(jié)點和芝加哥節(jié)點,分別與北美科研網(wǎng)絡(luò)ESNET建立LHCONE VPN連接。從而實現(xiàn)了在中國科技云網(wǎng)絡(luò)基礎(chǔ)設(shè)施與CERN LHCONE虛擬專網(wǎng)的多鏈路冗余對接。通過時延大幅降低的中歐陸纜線路,進一步提升了用戶數(shù)據(jù)傳輸性能;通過歐洲北美2個方向、4條線路的冗余互聯(lián),大幅提升了中國科學院高能所與CERN網(wǎng)絡(luò)互聯(lián)可靠性,高效的支撐了用戶國際合作數(shù)據(jù)傳輸應(yīng)用。

LHCONE L3VPN結(jié)構(gòu)
對LHCONE資源的完全訪問支持了位于日本筑波的SuperKEKB加速器的國際合作項目Belle II。它是KEKB加速器的升級項目。盡管大多數(shù)Belle II成員站點已經(jīng)參與了WLCG合作,兩個主要地點,主實驗室(日本的KEK)和美國的太平洋西北國家實驗室(PNNL)沒有。LHC社區(qū)允許了它對LHCONE的訪問,隨著PNNL現(xiàn)在完全連接和KEK的即將整合,Belle II合作項目成員的生產(chǎn)力將很快得到提高。