XSKY發(fā)布XMotion納管熱遷移技術，OpenStack集群遷移效率提升超10倍

隨著企業(yè)引入OpenStack平臺以后,從邊緣應用需求逐步進入到準核心,甚至是核心業(yè)務的需求和趨勢,私有云運營團隊常常需要面對多樣化的虛擬機遷移問題和需求(包括計劃內(nèi)和計劃外)。

例如,物理服務器進行計劃內(nèi)的停機維護,或者根據(jù)對計算和存儲更加細粒度的管理和規(guī)劃,需要將計算和存儲融合部署的架構(gòu),拆成分離部署架構(gòu),以便于未來業(yè)務的擴展。這些都涉及到虛擬機的遷移。

根據(jù)遷移操作對業(yè)務的影響,虛擬機的遷移一般分為兩類:

1、冷遷移(Cold Migration / Non-live Migration)

虛擬機需要先停機,等待與此虛擬機相關的計算和存儲等資源遷移完成后,再重新啟動。在遷移期間,業(yè)務無法訪問,只有遷移完成后,業(yè)務才能恢復。由于遷移過程中涉及到存儲數(shù)據(jù)的拷貝,如果數(shù)據(jù)量比較大,會造成停機時間過長且不可控,因此冷遷移僅適用于對系統(tǒng)可用性要求不高的業(yè)務。

2、熱遷移(Live Migration)

虛擬機在遷移過程中保持運行狀態(tài),業(yè)務可正常訪問,根據(jù)虛擬機的存儲類型又可分為:基于共享存儲的熱遷移、塊設備的熱遷移和基于卷的熱遷移等。 由于涉及到計算、網(wǎng)絡和存儲的一體化熱遷移,對底層基礎設施的要求較高。

01兩種場景下的對比

我們先來對比VMware和OpenStack對虛擬機遷移的支持情況:

從上圖可以看出,VMware歷經(jīng)了十多年的商業(yè)化發(fā)展道路,對虛擬機遷移的支持更為全面,支持計算和存儲的熱遷移,甚至是跨集群遷移,這通常對于目標規(guī)劃兩地三中心業(yè)務高可用的用戶來講非常重要,但這些功能僅限于VMware場景使用,也就意味著在滿足業(yè)務高可用需求的同時,選擇了相對比較單一的私有云模型,給用戶在供應商平臺選擇上帶來局限性;

相比之下,OpenStack對虛擬機遷移功能的支持則不夠完善,對于存儲遷移,由于OpenStack本身開放的架構(gòu),需要依賴存儲廠商實現(xiàn)存儲層的遷移能力。

以Ceph為例,Ceph RBD作為OpenStack主流的存儲后端,默認不支持在線熱遷移,RBD裸盤只能進行離線遷移,這就意味著如果進行跨集群遷移,虛擬機需要長時間停機,整體遷移進度受制于存儲的遷移進度,如果存儲容量較大,更會讓整個遷移時間不可控。

如今,XSKY SDS逐步被很多用戶引入到已有的OpenStack架構(gòu)中,用于替換該私有云架構(gòu)中原有的Ceph SDS集群,這些用戶包括對于業(yè)務連續(xù)性要求非常高的省級,甚至是更大規(guī)模的金融平臺。

為了幫助用戶應對棘手的在線熱遷移問題,XSKY基于自主研發(fā)的納管卷、在線卷遷移和多集群存儲等特性,設計了XMotion納管熱遷移技術,不但支持多家OpenStack廠商,提供面向虛擬機和租戶的存儲計算一體化遷移方案,更可將整體遷移效率提升10倍以上。

XSKY的納管遷移方案具有以下優(yōu)勢:

? 支持存儲在線熱遷移,業(yè)務無需中斷,可在業(yè)務正常運行中進行遷移;

? 不僅支持存儲獨立納管遷移,也支持計算和存儲一體化遷移;

? 以卷為單位,上層應用無感知,無兼容性問題;

? 支持從開源Ceph遷移到XSKY存儲集群,也支持從XSKY老集群遷移到新集群;

? 支持跨計算和存儲集群進行遷移;

? 無廠商鎖定,支持多家OpenStack廠商;

? 強一致的數(shù)據(jù)完整性保證,不丟增量數(shù)據(jù);

? 支持遷移QoS,可根據(jù)業(yè)務需要自定義遷移速率,并可隨時撤銷遷移任務;

? 支持以虛擬機或租戶為單位,自動掃描關聯(lián)的存儲,一鍵遷移;

? 結(jié)合虛機業(yè)務的完善回滾方案,應對海量數(shù)據(jù)遷移過程中的各種硬件和網(wǎng)絡異常情況。

02存儲納管遷移

下面以XSKY存儲集群納管開源Ceph為例,介紹存儲納管遷移的步驟:

1、將計算節(jié)點添加到XSKY存儲集群;

2、OpenStack Nova/Cinder等服務配置存儲多集群,可同時訪問開源Ceph集群和XSKY存儲集群;

3、在XSKY存儲集群創(chuàng)建納管卷,關聯(lián)該納管卷與Ceph集群中的被納管卷;

4、OpenStack Nova/Cinder等服務配置使用納管卷;

5、XSKY納管卷啟動在線卷遷移;

6、后臺數(shù)據(jù)在線遷移完成后,XSKY納管卷會自動合并和清理底層臨時數(shù)據(jù),完成整個遷移過程。

納管遷移中的IO訪問流程如下圖所示:

在遷移過程中,由libvirt發(fā)起的虛擬機讀操作將由遷移網(wǎng)關從開源Ceph讀取,寫操作則由遷移網(wǎng)關進行同步雙寫,同時寫入納管卷與被納管卷;

遷移完成后,讀寫操作將都只針對新池進行。納管遷移網(wǎng)關對上層屏蔽遷移細節(jié),libvirt對整個遷移過程無感知,無需做任何修改。

03存算一體化在線遷移

XMotion除了提供存儲納管遷移以外,也支持多家OpenStack廠商之間的存儲和計算一體化遷移方案,以虛擬機為單位,自動化遷移虛擬機及其存儲部分。

下面我們以某省級農(nóng)信社的大規(guī)模OpenStack生產(chǎn)集群遷移為案例,介紹XMotion的存儲和計算一體化在線遷移方案。

因為歷史原因,過去為了規(guī)避單一供應商的產(chǎn)品和服務風險,該用戶在對外省級聯(lián)社以及對私內(nèi)部運營,規(guī)劃和籌建了兩套OpenStack集群,這兩套集群各自獨立運營,資源以及權限分離管理;

而在過去三年的逐步比較中,發(fā)現(xiàn)B集群服務商具有更好的產(chǎn)品穩(wěn)定性和商業(yè)服務能力,所以本次遷移的目標是為了將OpenStack廠商A的老集群遷移到OpenStack廠商B的新集群中,同時將原XSKY存儲集群遷移到新版本的兩套集群中,做存儲災備,因此涉及到計算和存儲兩個單元的同時跨集群遷移需求。

OpenStack原集群為計算和存儲分離部署架構(gòu),其中,計算節(jié)點49臺(46臺為純計算節(jié)點,3臺計算與控制節(jié)點融合部署),共2886臺虛擬機;存儲節(jié)點107臺,采用3副本,裸容量4.38PB,有效容量1.46PB,已使用1PB,共5625個卷。

集群遷移前后的架構(gòu)如下圖所示:

以單個虛擬機為例,XSKY的存算一體化遷移方案步驟如下:

1、初始化

? OpenStack廠商創(chuàng)建遷移用的虛擬機,進行網(wǎng)絡和計算資源初始化等工作

? OpenStack配置多集群

2、XMotion執(zhí)行存儲和計算的自動一體化遷移

? 創(chuàng)建納管卷

? 遷移虛擬機

? 納管卷重命名

? 啟動遷移任務

本次遷移屬于計劃內(nèi)升級遷移,因此允許對虛擬機業(yè)務停機,遷移耗時不超過3分鐘,主要集中于虛擬機跨計算集群的重建和啟動階段,得益于XMotion的納管熱遷移技術,整個遷移過程不受存儲容量的限制,新虛擬機啟動后掛載納管卷即可對外提供服務,由XSKY的遷移網(wǎng)關在后臺執(zhí)行數(shù)據(jù)熱遷移,業(yè)務在存儲遷移過程中不受遷移進度影響,可正常訪問。

遷移完成后,在OpenStack控制面板可觀察到新虛擬機已正常運行:

而在XSKY存儲控制面板則可觀察到存儲卷為在線遷移狀態(tài):

XSKY支持針對在線遷移中的卷執(zhí)行速率調(diào)整和取消遷移任務等操作:

? 調(diào)整遷移速率,支持高、中、低三檔遷移速率,如果擔心遷移速率過大影響正常業(yè)務,則可將遷移速率調(diào)小;

? 取消遷移任務,如果遷移導致業(yè)務速率降低,則可以取消遷移任務,釋放帶寬來滿足前端業(yè)務需求,后續(xù)再重新開啟遷移任務。

本次遷移實測的不同檔次遷移速率如下:

XMotion遷移不僅可以支持跨OpenStack廠商和存儲遷移,方便后期業(yè)務擴展,而且可以獲得新版本XSKY存儲集群的所有特性,遷移完成后的虛擬機性能也獲得同步提升:

04更多適用場景

除了以上提到的場景外,XMotion納管熱遷移技術還可靈活應用于多種業(yè)務場景。

1、遷移開源Ceph或老版本XSKY存儲

遷移需求:

? 開源Ceph運維難度大, 將開源Ceph遷移到XSKY存儲上,獲得專業(yè)和易用的企業(yè)級存儲能力;

? 部署了新版本XSKY存儲集群,希望將老集群遷移到新集群,釋放老集群資源。

方案優(yōu)勢:

? 保留OpenStack計算集群,遷移底層Ceph或XSKY老集群到XSKY新集群;

? 以虛擬機和租戶為單位,面向業(yè)務遷移;

? 在線遷移,業(yè)務無感知;

? 自動化遷移,運維成本低。

2、跨集群遷移計算和存儲集群

遷移需求:

? 計算集群升級;

? 存算分離;

? 跨集群遷移虛擬機;

? OpenStack集群跨地域遷移;

? 不同OpenStack廠商集群切換;

? 要求遷移時間可控,遷移過程業(yè)務不中斷。

方案優(yōu)勢:

? 計算和存儲同時遷移;

? 支持跨計算集群和跨存儲集群遷移;

? 遷移時間可控,不受存儲容量限制;

? 多OpenStack廠商支持;

? 自動化遷移,運維成本低。

05小結(jié)

OpenStack進入我們的視線已經(jīng)有很多年了,開源且具有開放性的OpenStack平臺對于許多植根互聯(lián)網(wǎng)基因的企業(yè)來說具有強大的吸引力,但由于產(chǎn)品化程度不足,運維和開發(fā)投入的人力和資金往往不可忽視。

而最終在很多需要跨集群滿足業(yè)務連續(xù)性的場景,無法攻城略地的原因,則來自于OpenStack場景下,天然短板的熱遷移(Live-Migration)能力。XSKY XMotion納管熱遷移技術,讓OpenStack也能夠支持熱遷移,極大提升虛擬機遷移效率。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。