天翼云打造云智一體智算服務體系，加速大模型應用落地

11月10日消息（水易）今日，以“數字科技,煥新啟航”為主題的“中國電信2023數字科技生態(tài)大會暨2023數字科技生態(tài)展”在廣州盛大啟幕。

在上午的主論壇環(huán)節(jié)，天翼云公司總經理胡志強正式對外發(fā)布了天翼云構建的全棧大模型智算服務。

胡志強表示，2023年是大模型高速發(fā)展的一年，大模型不斷擴大的參數規(guī)模和快速迭代的技術路線跨越式地提升了模型的能力，但是同時也為大模型的訓練和應用帶來了很多挑戰(zhàn)。比如算力利用率的瓶頸日益凸顯、算力成本壓力進一步增大、模型的構建難度不斷提升，模型的行業(yè)落地更加復雜。

為順應大模型時代對于云服務商的新要求，天翼云全面升級，構建了全棧大模型智算服務，包括打造智算數據中心AIDC、升級云智超一體化基礎設施平臺“云驍”、推出一站式智算服務平臺“慧聚”，構建國云大模型生態(tài)，形成云智一體的智算服務體系。

升級云智超基礎設施平臺“云驍”

整個體系的基石是智算基礎設施。胡志強表示，針對AI高強度運算帶來的散熱問題，天翼云推出液冷DC艙，融合定制化液冷智算服務器，實現低至1.12的PUE。

與此同時，天翼云將云驍升級成為云智超一體化基礎設施服務平臺，構建高性能RoCE網絡、并行文件存儲等服務；重點提升訓練加速、網絡加速等核心能力，同時升級了運維體系，實現對基礎設施的全面故障預測和感知。國產化方面，云驍平臺率先在公有云加載天翼云RoCE網絡+國產GPU方案并實現商用。

打造一站式智算服務平臺“慧聚”

為加速大模型在行業(yè)的應用落地，天翼云正式發(fā)布一站式智算服務平臺“慧聚”。據了解，慧聚平臺將大模型開發(fā)訓練過程中的關鍵流程、復雜技術和寶貴實踐經驗進行總結和抽取，構建出一站式全鏈路的大模型生產應用的流水線。大幅降低大模型訓練、微調、部署、推理的門檻，讓客戶能夠更專注于模型升級和應用落地。

技術層面，慧聚平臺成功突破了算子加速、模型并行、斷點續(xù)訓等技術難點，將高性能計算能力、分布式算力調度能力、訓練和推理多環(huán)節(jié)加速技術、高性能數據存儲技術進行封裝；實現了萬卡集群調度，穩(wěn)定性、訓練推理速度等核心指標大幅提升。

功能層面，慧聚平臺基于數據平臺、模型訓練平臺、模型服務平臺和應用服務平臺四大平臺，提供數據準備、模型開發(fā)、任務管理、模型優(yōu)化等七大主要產品功能模塊，每個功能模塊又包含多級組件。功能與組件之間可以靈活組裝，幫助用戶打造針對不同場景的專屬工具集。

共建繁榮的國云大模型創(chuàng)新生態(tài)

基于全新的基礎設施服務平臺云驍和智算服務平臺慧聚，天翼云已經為大模型開發(fā)者、大模型提供者、應用廠商、政府與科研機構、行業(yè)協會等合作伙伴提供多種生態(tài)模式支持。

胡志強表示，依托國云智算底座，發(fā)揮國云安全優(yōu)勢，天翼云愿與產業(yè)各方合作伙伴緊密協作，廣泛匯聚國內外AI芯片伙伴、各類通用大模型及行業(yè)大模型伙伴及廣大開發(fā)者，共建繁榮的大模型創(chuàng)新生態(tài)，攜手打造先進的智算生產力，全面賦能經濟社會的數字化和智能化。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。