AMD EPYC(霄龍)處理器提供了絕佳的PCI-E和內(nèi)存帶寬，幫助加速了大型強(qiáng)子對撞機(jī)的亞原子粒子研究
合作伙伴：CERN
行業(yè)：粒子物理研究
挑戰(zhàn)：從大型強(qiáng)子對撞機(jī)的探測器收集大量數(shù)據(jù)
解決方案：在檢測器數(shù)據(jù)收集服務(wù)器中部署AMD EPYC 7742處理器
成效：更緊湊的系統(tǒng)可節(jié)省成本，將更多資金用于科學(xué)研究
AMD技術(shù)一覽：64核AMD EPYC 7742處理器
合作伙伴：Gigabyte
科學(xué)是依據(jù)實(shí)驗(yàn)數(shù)據(jù)對理論進(jìn)行檢驗(yàn)的過程。但是，如果測試設(shè)備包含歐洲核子研究組織(CERN)大型強(qiáng)子對撞機(jī) (LHC)的粒子探測器，則原始碰撞數(shù)據(jù)每秒將多達(dá)40TB。許多碰撞數(shù)據(jù)無關(guān)緊要，因此，首先要做的是在信息到達(dá)時(shí)進(jìn)行篩選，并提取出最有可能提供關(guān)鍵洞察數(shù)據(jù)的相關(guān)結(jié)果。這是一項(xiàng)繁重的高性能計(jì)算任務(wù)，需要使用盡可能最強(qiáng)大的服務(wù)器硬件。
CERN為即將在2021年進(jìn)行的大型強(qiáng)子對撞機(jī)重啟已經(jīng)做了很長時(shí)間的準(zhǔn)備，并且一直在尋找能夠滿足海量數(shù)據(jù)吞吐量處理需求的硬件平臺(tái)。CERN LHCb在線計(jì)算項(xiàng)目負(fù)責(zé)人Niko Neufeld解釋說：“我們需要將每臺(tái)服務(wù)器的數(shù)據(jù)保存到每臺(tái)服務(wù)器上。這就像拼圖一樣。在拼完一塊圖之后，必須對所傳入的全部數(shù)據(jù)進(jìn)行此項(xiàng)操作。這對I/O帶來了棘手的挑戰(zhàn)。”于是，Neufeld選擇了第二代AMD EPYC處理器，原因是該產(chǎn)品能夠提供實(shí)驗(yàn)所需的處理性能、內(nèi)存速度和帶寬。
完成美麗的拼圖
Neufeld進(jìn)行的實(shí)驗(yàn)名為LHCb。Neufeld解釋說：“字母B表示beauty(美麗)。這是自然界中六類夸克之一，也是我們研究的主要目標(biāo)之一。” 夸克是一種基本粒子，是物質(zhì)的基本組成部分。夸克結(jié)合在一起，形成稱為強(qiáng)子的復(fù)合粒子，其中最穩(wěn)定的元素是質(zhì)子和中子。
LHCb實(shí)驗(yàn)旨在調(diào)查大爆炸后發(fā)生了什么，使物質(zhì)得以生存，并形成了我們今天所知道的宇宙。觀察美夸克衰變的行為有助于解釋為什么宇宙主要由物質(zhì)而非反物質(zhì)構(gòu)成。Neufeld補(bǔ)充說：“在美夸克中，這種差異要比其他夸克更為明顯。”
實(shí)驗(yàn)通過將強(qiáng)子與LHCb檢測器碰撞而產(chǎn)生了美夸克，但它們壽命很短，必須迅速收集數(shù)據(jù)才能對其行為進(jìn)行檢測。原始數(shù)據(jù)流首先由進(jìn)行初始詮釋的定制FPGA卡處理。Neufeld說：“每臺(tái)服務(wù)器都映射到不同地理位置的檢測器。檢測器劃分為不同的部分，然后，每臺(tái)服務(wù)器以點(diǎn)對點(diǎn)方式連接到檢測器的這一部分。但是，接下來需要將所有數(shù)據(jù)片段放在同一個(gè)位置，因?yàn)橹挥羞@樣才能對這些內(nèi)容進(jìn)行有意義的計(jì)算。”
Neufeld繼續(xù)說：“單臺(tái)服務(wù)器無法完成數(shù)據(jù)處理任務(wù)，因此，您需要進(jìn)行數(shù)據(jù)的全交換。”這項(xiàng)活動(dòng)需要快速處理數(shù)據(jù)，采用高帶寬訪問大量內(nèi)存，以及與負(fù)責(zé)將服務(wù)器彼此連接的I/O設(shè)備快速連接。對于后一種情況，LHCb的每臺(tái)服務(wù)器使用四個(gè)Mellanox 200Gbit InfiniBand適配器，而這些適配器需要通過盡可能最快的互連而實(shí)現(xiàn)全容量運(yùn)行。Neufeld表示：“數(shù)據(jù)來自不同方向，而且這些數(shù)據(jù)由不同的服務(wù)器處理，然后，這些數(shù)據(jù)必須匯總在一起。”
“借助 AMD EPYC（霄龍）CPU，我們能夠持續(xù)數(shù)天顯示來自服務(wù)器的每秒 1 TB 以上的數(shù)據(jù)。 在服務(wù)器上而不是像過去那樣需要超級(jí)計(jì)算機(jī)才能實(shí)現(xiàn)這一過程是種重大進(jìn)步。”
Niko Neufeld，CERN LHCb 在線計(jì)算項(xiàng)目負(fù)責(zé)人
AMD EPYC處理器提供了超高速 I/O和內(nèi)存
LHCb過去曾經(jīng)使用過AMD Opteron處理器，而且Neufeld已經(jīng)在工作流的最后階段測試了基于第一代AMD EPYC處理器的服務(wù)器，其中來自收集器的數(shù)據(jù)通過打包以供與LHCb實(shí)驗(yàn)相關(guān)的各級(jí)研究機(jī)構(gòu)使用。這次嘗試提供了積極的經(jīng)驗(yàn)，而且第二代AMD EPYC CPU對產(chǎn)品規(guī)格進(jìn)行了改進(jìn)，使其成為更密集數(shù)據(jù)采集階段的極具吸引力的解決方案。
AMD EPYC CPU的高內(nèi)核數(shù)對于數(shù)據(jù)處理非常有益，而對128個(gè)PCI Express 4.0通道的支持更是一項(xiàng)出色的功能，使每臺(tái)服務(wù)器中的四個(gè)Mellanox網(wǎng)卡能夠無瓶頸地運(yùn)行。Neufeld說：“借助 AMD EPYC(霄龍)CPU，我們能夠持續(xù)數(shù)天顯示來自服務(wù)器的每秒 1 TB 以上的數(shù)據(jù)。 在服務(wù)器上而不是像過去那樣需要超級(jí)計(jì)算機(jī)才能實(shí)現(xiàn)這一過程是種重大進(jìn)步。”
Neufeld表示：“系統(tǒng)總內(nèi)存池也很重要。傳入的數(shù)據(jù)量非常多。數(shù)據(jù)無法從FPGA卡直接傳輸?shù)骄W(wǎng)卡，而是必須進(jìn)入主內(nèi)存然后返回。另外，我們還需要大量的內(nèi)存。”LHCb的每臺(tái)服務(wù)器采用512GB內(nèi)存。 Neufeld繼續(xù)說：“Rome平臺(tái)滿足這一需求，因?yàn)樗峁┝硕鄠€(gè)內(nèi)存通道，并且支持極快帶寬。這是一個(gè)高度平衡的平臺(tái)。”由于采用8TB 3200MHz DDR4，第二代AMD EPYC CPU可完美滿足RAM要求，與PCI Express總線的能力相當(dāng)。
AMD EPYC CPU的擴(kuò)展空間
從2019年5月到9月，CERN對第二代AMD EPYC CPU平臺(tái)進(jìn)行了認(rèn)證，然后選擇將其作為LHCb實(shí)驗(yàn)的解決方案。Neufeld解釋說：“該解決方案使我們將服務(wù)器數(shù)量減少了三分之一。這不僅節(jié)省了成本，而且在構(gòu)建高速、低延遲的網(wǎng)絡(luò)時(shí)減少服務(wù)器數(shù)量也是一個(gè)優(yōu)勢。更大規(guī)模的網(wǎng)絡(luò)會(huì)遇到更多的沖突問題。系統(tǒng)越緊湊就越好。”
AMD EPYC CPU將為LHCb提供進(jìn)行進(jìn)一步開展試驗(yàn)所需的升級(jí)途徑。“我們不具備Google或Facebook的計(jì)算能力，但AMD EPYC CPU使我們能夠在相對較小而且緊湊的系統(tǒng)中進(jìn)行所需的處理工作。這在10-15年前是不可能實(shí)現(xiàn)的?，F(xiàn)在，我們有了擴(kuò)展的空間。借助相同的EPYC技術(shù)，我們可以在同一空間內(nèi)將容量增加一倍。在接下來的幾年，我們的計(jì)劃是增加探測器和傳感器的數(shù)量。這將為我們提供很大的擴(kuò)展空間。EPYC使我們能夠做更多事情。”
“目前，沒有可與AMD EPYC設(shè)計(jì)相媲美的商用替代設(shè)備，也沒有其他平臺(tái)能夠提供這么多具有Gen4能力的插槽以及如此強(qiáng)大的運(yùn)行能力。因此，第二代AMD EPYC CPU平臺(tái)具有架構(gòu)優(yōu)勢。”
Niko Neufeld，CERN LHCb 在線計(jì)算項(xiàng)目負(fù)責(zé)人
是否想了解AMD EPYC處理器如何為您提供幫助?歡迎注冊接收我們的數(shù)據(jù)中心內(nèi)容amd.com/epycsignup
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
