裸金(jīn)屬(Bare Metal),也常被稱為物理機,是指不安裝任何操作係統和其他軟件的計算機硬件設備,是最基礎的硬件層麵,就如同一個 “赤身裸體” 的(de)金屬機體,僅具備最原始的硬件資源,像處理器、內(nèi)存、硬盤、網(wǎng)卡等物理(lǐ)組件(jiàn),隻有硬件本身而沒有(yǒu)預裝額外的用於提供通用服務的軟件層。
由於沒有虛(xū)擬化層帶來的額(é)外性能損耗,裸金(jīn)屬服務器可以充分發揮硬件的全部性能(néng)。在處理大數據存(cún)儲和讀寫(xiě)密集(jí)型業(yè)務場景中,裸金屬憑借自身(shēn)直接(jiē)掛載的高速存(cún)儲設備,在數據的讀寫速度上有更(gèng)好(hǎo)的表現,可以快速響應業務對數據的操作需求。
每個用戶獨占一台物(wù)理服務器,和其他用戶的資源完全隔離,不存在像虛擬機那樣共享內核等可能帶來的安全隱患。例如對於對數據安(ān)全要求苛刻的金融企業,在處理核心交易數據、存儲用戶(hù)敏感信息時,使用裸金屬服(fú)務器可以避免因虛擬化環境下多租戶可能導致的數據泄露、惡意攻擊等安全風險,保障業務數據的絕對安全。用戶可以根據自身業(yè)務需求自由靈活地定製(zhì)硬件配置(zhì),選擇合適的 CPU 型號、內(nèi)存大小、存儲類型及容量等。比如一家從事圖形(xíng)渲染的設計公司,就可以定製配置高(gāo)端 GPU、大容量內存的裸金屬服務器,以便能夠快速處理複雜的圖形(xíng)渲染任務,滿足自(zì)身業務對硬件資源的特定要求。
所有的硬件資源如 CPU 核心(xīn)、內(nèi)存空間、網絡帶寬等都歸單個用戶或(huò)單個業務獨占使用(yòng),不存在資源競爭(zhēng)的情況。以一個電商(shāng)平台在進行大型(xíng)促銷活動時為例,其使用裸金屬服務(wù)器就能(néng)確保在活動期間,服務器(qì)有充足且穩定的資源來應對高並發的用戶(hù)訪問、訂單處理等業務(wù)操(cāo)作,不會因為和其他用戶共享資源而出現卡頓、響應(yīng)緩慢等問題。
不過,裸金屬也有一定的局限性,比如相較於虛擬化方案,其資源的靈活調配性稍弱,初始采(cǎi)購成本相對較高,而且維護管理需要專業(yè)的運維人員具備更(gèng)深入的硬件知(zhī)識等(děng)。
Ironic是(shì)OpenStack提供的(de)裸金屬管理服務,旨(zhǐ)在(zài)為用戶提供類(lèi)似虛擬機管理的裸金屬資源管理體驗。通過 Ironic,用戶可以像管理虛(xū)擬機一(yī)樣管理裸金屬服務器,實現(xiàn)在雲平台中的裸金屬資源的自動化部署、配置(zhì)和管理。Ironic為雲平台提供了“即開即用”的裸(luǒ)金(jīn)屬服務器管理體驗,簡化了(le)裸金屬的複雜管理過程。
在裸金屬自動化入雲的實踐中(zhōng),Ironic提供了與傳統虛擬機類似的操作體驗,但它依(yī)然麵臨著一些挑戰,特別是在部署和配置方麵的複雜性。以下是一個基於(yú)Ironic環境(jìng)搭建和應用(yòng)的具體實踐案例。

在進行裸金屬自動化管理時,首先需要(yào)搭建(jiàn)Ironic環境。這包括安裝並配(pèi)置OpenStack的相關組件,如ironic-api、ironic-conductor等。確保各組件能夠正常通信並與底層硬件資源(如Bioses、BMC控製器等)進行交互,從而實現裸(luǒ)金(jīn)屬服務器的管理。
安裝Ironic組件:通常通過(guò)包管理工具(如apt、yum等)進行安裝。包括ironic-api、ironic-conductor等核心服務。
配(pèi)置Ironic組件之間(jiān)的通信:配(pèi)置Ironic組件之(zhī)間的消息隊列(liè)(如RabbitMQ)和數據庫(如MySQL),以便各組件能(néng)夠有效通信和共享數據。
配置硬件管理協議:配置Ironic與裸金屬節點的硬件管理協議(如IPMI、Redfish)。這(zhè)些協議(yì)使(shǐ)Ironic能夠遠程控製(zhì)裸金屬節點的電源(如開關機、重(chóng)啟(qǐ))及獲取硬件狀態(tài)。同時,需要配置Ironic支持(chí)的硬件驅動程序,確保其能夠與多種硬件(jiàn)平台兼容。
配置Ironic數據庫:配置MySQL或其他數據庫後端(duān),創建Ironic所需的數據庫表,確保裸金屬節點的注冊、配置及管理信息(xī)能夠正確存儲並進行管(guǎn)理。同時,配置數(shù)據庫連接及用戶權限控製(zhì),保障數據安全(quán)和訪問管(guǎn)理。
裸金屬服務器的(de)操(cāo)作係統鏡像需要根據Ironic平台進行(háng)適配,確(què)保係統能(néng)夠通過PXE和DHCP服務自動化安裝。鏡像的定製化至(zhì)關重要,需確保操作係統與硬件配置匹配,避免因硬件差(chà)異導致部署失(shī)敗(bài)。裸金(jīn)屬部(bù)署過程中,提供兩種主要鏡像:
部署(shǔ)鏡像:通過ironic-python-agent控製(zhì)和(hé)配置(zhì)裸金屬節點。
操作(zuò)係統鏡像:用於最終安裝在裸金(jīn)屬服務器上。
使用diskimage-builder工具可以(yǐ)自動構建(jiàn)適配鏡像,並實現裸金屬環境中(zhōng)的無縫部署。由於diskimage-builder默認(rèn)不包含(hán)bclinux元素,需添加相應的元素(sù)並補充適(shì)配邏輯。


構建完成後生成以下(xià)文件:


部署鏡像和內核:ipa-bclinuxoe2110-aarch64.initramfs和ipa-bclinuxoe2110-aarch64.kernel。
操作係統鏡像:bclinux-os-oe2110-aarch64.qcow2。
在裸金屬的PXE引導安裝過程中,DHCP服務起著至關重要的作用,它為裸金屬節點分配臨時(shí)IP地址,確保節點能夠與Ironic控製節點進行通信,並下載所需的部署內核、鏡像和操作係統鏡像等(děng)文件。根據網絡拓撲,DHCP服務的配置可以分為兩種場景:同網段和跨網(wǎng)段。
同網段的(de)DHCP配置
如(rú)果DHCP服務和裸金屬節點處(chù)於同一網段,配置起來相對簡單。裸金屬節點通過四步DHCP協議交互獲取(qǔ)IP地址及(jí)網絡配置信息:


1.DHCP Discover:客戶端廣播請(qǐng)求IP地址。
2.DHCP Offer:DHCP服(fú)務器提供可用的(de)IP地址。
3.DHCP Request:客戶(hù)端確認使(shǐ)用該IP地址。
4.DHCP Ack:服務器確認並分(fèn)配IP地址。
通過這一(yī)過程,裸金屬節點可以順利接入網(wǎng)絡,開始(shǐ)下載(zǎi)後續部署文件。
跨網段的(de)DHCP配置
在複雜(zá)網絡環境中,DHCP服務和裸金屬節點可能位於不同網段(duàn),此時需要通過DHCP中繼來(lái)實現IP地址的分配。傳(chuán)統的(de)做法是配置DHCP中繼代理,轉發DHCP請求和應答報文,確保客戶端和服務器之(zhī)間的(de)通信不受網絡分段的(de)影響。

在跨網段場景中,DHCP客戶端首先向網絡發送(sòng)DHCP Discover報(bào)文,DHCP中(zhōng)繼(jì)將該請(qǐng)求轉發給(gěi)遠程DHCP服務器,後者(zhě)會(huì)做出響應並通過中繼返回DHCP Offer報文。最終,客戶端和DHCP服務器(qì)完成四步交互,實現IP地(dì)址的分配。
應對跨網段(duàn)DHCP配置不生效的解決方案
在省份實施(shī)過程中(zhōng),發現(xiàn)跨網段的DHCP中繼配置不能生效,因此采用了以下替代方案:在每個網段內開通一台低配(pèi)的雲主機(jī)作為DHCP服務節點。這(zhè)台雲主機會負責為所在網段內的(de)裸金屬節點提供IP分配(pèi),同時通過(guò)網絡配置將請求轉發到Ironic控製節點。
通過這種方(fāng)式,我們可以避免複雜的中繼配置問題,同時確保各網(wǎng)段的裸金屬節點(diǎn)能夠順利完(wán)成DHCP交互並啟動後續的PXE引導。

在裸金屬節點注冊完成後,Ironic通過(guò)自動化流程來實(shí)現操作係統的部署。以下是通過Ironic進行裸金(jīn)屬節點操作係統安裝的過程。

裸金屬節點注冊:用戶首先通過Ironic提供的API或命令行工具注冊裸金屬節點。注冊時,係統記錄節點的硬件(jiàn)信息、管理接口(kǒu)和網絡配置等參數,節點信息被存入Ironic數據(jù)庫,並標記為待部署狀態。
節點信息驗證與狀態(tài)更新:Ironic Conductor驗證節(jiē)點的(de)硬件信息和網絡配置,並將節點(diǎn)的狀態更新為“待提供”。係(xì)統定期檢查節點狀態,確保管理接口和硬件配置正確。
啟動並引導裸金屬節點:節點注冊完成後,Ironic Conductor通過IPMI或其他硬件管理協(xié)議向裸金屬節(jiē)點下(xià)發初始化命令。節點啟動時(shí),利用PXE引導,從DHCP服務器獲取臨時IP地址並通過TFTP服務獲取引導文件。
下載並啟動部署鏡像:完成PXE引導後,裸金屬節點通(tōng)過(guò)HTTP下載部署鏡像。該鏡像為最小(xiǎo)化操作係統,包含配置硬(yìng)件和(hé)啟動操作係統安裝的工具。部署鏡像(xiàng)啟動後,會連(lián)接到Ironic Conductor,獲取操作係(xì)統鏡(jìng)像並開始安(ān)裝。
操作係統鏡像安裝及初始化配置:Ironic Conductor根據(jù)請求提供(gòng)操作係統鏡像。此鏡(jìng)像通過HTTP服務傳輸到裸金屬節點,並在部署(shǔ)鏡像的幫助下,安裝到裸金屬節點的硬盤上。安裝(zhuāng)過程包括:
磁盤(pán)分區:對裸金屬硬盤進行分區和格式化。
操作係統安裝:將操(cāo)作係(xì)統(tǒng)鏡像寫入硬盤(pán),並安裝必要的引導(dǎo)程序。
初始化配(pèi)置:包括網絡配(pèi)置、係統設置和硬件驅動安裝等。
這一過程(chéng)完全自動化,無(wú)需人工幹(gàn)預(yù)。
部署完(wán)成與節點準(zhǔn)備:操作係統安裝完成後,裸金(jīn)屬節點自動重啟,並通過Ironic進行最後的(de)狀態更新。此時,裸金屬節(jiē)點已具備完整的操作係統環境(jìng),準備(bèi)投入實際使用。
在裸金屬節點的部署中,網卡的(de)網絡配置尤為重要。特(tè)別是在業務(wù)麵、樣本麵(miàn)和參(cān)數麵網(wǎng)絡中,裸金屬節點通常需要特定的網(wǎng)卡驅動和網絡配置。雖然(rán)OpenStack提供的Neutron網絡組件(jiàn)功能強大,但在(zài)不同的網絡環境下,配置過程往往複雜且(qiě)難以統一,尤其在國內不同省份和甲方的多變網(wǎng)絡環境中(zhōng),Neutron的配置可能(néng)不如預期那樣順暢和易用。
在(zài)實際實(shí)施過(guò)程中,由於操作係(xì)統已經安裝且已分配帶內管(guǎn)理網絡(luò),可以通過ssh的方式連接到裸金屬服務器中,實現網卡驅動的安裝以及業務麵、樣本麵、參數麵網絡的配置。在進行網絡配置之前,需要了解硬件及交換機(jī)的連線架構,確保配置的準確性和高(gāo)效性(xìng)。例如,在配置業務網絡時,以下幾個關鍵因素需要提前(qián)確認(rèn):
網卡(kǎ)信息:要知道哪些網(wǎng)口(kǒu)對應業務網絡。以某種典型架構為例,假設業(yè)務網絡對應的網口是NIC1-2和NIC2-2。

Bond配置:需要(yào)提前規劃好這兩個網口是否做Bond,以及Bond的(de)網絡類型。
VLAN信息:了解業務網絡的VLAN標識,確保數據流能正確路由和隔離。
因此,首先需要通過腳本(běn)在操作係統中查(chá)詢這兩個網口的MAC地址,然後根據這些信(xìn)息進一步確認網卡的名(míng)稱。接下來,可以自定義Bond網絡腳本,並根據具體的網絡配置(zhì)要求進(jìn)行相應的(de)設置。

裸(luǒ)金屬延伸:基於裸金(jīn)屬與(yǔ)K8s的GPU/NPU容器化隨著裸金屬服務器在智算領域的廣泛應用,裸金屬管理逐漸從傳統的(de)資源交付轉向智能化調度(dù)與多樣化的場景適配。在多雲管理(lǐ)平台的統一管理(lǐ)下,裸金屬資源能夠以兩種主要模式交付客戶使(shǐ)用,滿(mǎn)足不同場景的需求。

通過多雲管理平(píng)台(tái),裸金屬服務器以最小(xiǎo)化(huà)抽象的形(xíng)式直接交付給用戶。這種模式適用於對底層硬件資源(yuán)有精細化控製需求的客戶。
直接交互:用戶通(tōng)過多雲管理平台分配裸金屬資源,可通過SSH直(zhí)接登錄服務器完成操作。
狀態(tài)監控:多雲管理平(píng)台(tái)提供裸金屬節點的實時監控與管理(lǐ)視圖,全麵呈現資(zī)源狀(zhuàng)態、性能和利用率,幫助用戶高效掌控硬(yìng)件資源。
容器化調度模式:基於Rancher+K8s的容器化場景基於(yú)Rancher和Kubernetes的容器化管理,實現資源的細粒度分配與靈(líng)活調度。
異構資源封裝與容器化:通(tōng)過K8s在裸金屬之(zhī)上構建統一(yī)的容器化平台,將GPU、NPU等(děng)異(yì)構硬件資源封裝為對應的容器單元,並(bìng)以Pod的(de)形式調度。
智算場景優化:用戶可快速開(kāi)通GPU容器,用於深度學習模型的訓(xùn)練(liàn)與推理,滿足AI應用對高並發(fā)、高性能(néng)的需求場景,例如大規模圖像處理、自然語言(yán)理解與生成等任務。
全生(shēng)命(mìng)周期管(guǎn)理:Rancher結合(hé)Kubernetes提供(gòng)從資源分配到任務完成的全生命周期管理,用戶不僅可以(yǐ)通過多雲管理平台監控容器運(yùn)行狀態,還能通(tōng)過API網關訪問容器服務或集成自定義應用(yòng)。
性能可視化:多雲管理平台支持對容器和底(dǐ)層裸金屬的多(duō)維度性能(néng)監控(kòng),提供推理吞吐(tǔ)、訓練時長等關鍵指標,便於智算任務的精(jīng)細化優化。
裸金屬自動化入雲已成功落地湖南移動項目,客戶能夠(gòu)快速獲取和使用裸金屬資(zī)源,免去複雜的前期準備工作。該方案解決了傳統模式下手動安裝操作係統和配置網絡設備的痛點,將每台裸金屬的安(ān)裝時間(jiān)從4小時縮短至0.5小時,不僅大幅提升(shēng)了部署效率,還為業務應用的快速上線提供了有(yǒu)力支持。客戶能夠(gòu)在更短的時間內響應市場需(xū)求,優化了整體業務運轉效率和用戶體驗。