網(wǎng)宿科技推出邊緣AI網(wǎng)關，助力開發(fā)者的AI構建之旅

7月11日，網(wǎng)宿科技宣布推出一項全新的AI服務——邊緣AI網(wǎng)關，為企業(yè)用戶提供安全、可靠、高性能、易觀察的一體化模型服務管理方案，助力開發(fā)者的AI構建之旅。

網(wǎng)宿科技CDN產(chǎn)品研發(fā)總監(jiān)曾智全表示，AI已經(jīng)成為新一輪創(chuàng)新的焦點，很多企業(yè)都想要使用AI，但缺乏相關的技術或經(jīng)驗，網(wǎng)宿在業(yè)內(nèi)率先推出邊緣AI網(wǎng)關，希望幫助企業(yè)更好、更簡單、更安全地應用AI。

據(jù)悉，網(wǎng)宿邊緣AI網(wǎng)關旨在為企業(yè)在模型服務與AI應用之間搭建橋梁，無論是個人開發(fā)者還是企業(yè)，都可以借助網(wǎng)宿邊緣AI網(wǎng)關，更加簡易地管理和集成模型服務，從而更好地開展AI應用創(chuàng)新。

近年來，GPT大模型的橫空出世，在全球掀起了大模型競賽，隨之而來的，AI在各行各業(yè)的應用加速涌現(xiàn)。如今，在應用程序開發(fā)中，集成大模型已經(jīng)成為提升應用體驗和功能深度的普遍趨勢。

在這種背景下，業(yè)界誕生了一種新的服務模式，即MaaS（Model as a Service，模型即服務）。模型提供商通過API接口，將大模型能力出租給第三方企業(yè)使用，允許企業(yè)通過HTTP請求或其他方式與之交互。服務提供商負責模型的更新和維護，企業(yè)可以直接享受到最新的模型改進。

不過，當企業(yè)使用多個模型或提供商時，面臨著高昂的AI應用成本。而為了最優(yōu)成本地利用各個AI服務商的模型服務，企業(yè)又面臨著管理、運維難題。如何更好的管控模型使用，降低成本支出，同時清晰地洞察AI使用現(xiàn)狀和服務問題，成為各個企業(yè)構建AI應用的內(nèi)在訴求。

另外，需要注意的是，在使用模型服務的過程中，企業(yè)還面臨著敏感數(shù)據(jù)泄露、內(nèi)容不合規(guī)等風險。目前，大多企業(yè)組織還未著手解決AI相關風險，或是正在解決中。

“針對以上種種挑戰(zhàn)，業(yè)界亟需一種可以降低管理和擴展模型服務難度，提升AI可用性和安全性的方案。網(wǎng)宿邊緣AI網(wǎng)關可以解決這一需求，讓企業(yè)和開發(fā)人員專注于構建AI應用程序，而不是管理復雜的集成?！?曾智全表示。

曾智全表示，網(wǎng)宿科技在歷次的互聯(lián)網(wǎng)應用迭代中，為各類新興應用的規(guī)模落地提供了重要的支撐，為全球企業(yè)提供了一站式、高效、安全的服務保障，我們所沉淀的完備技術能力以及深厚的場景經(jīng)驗，可以復用于眼下的AI創(chuàng)新浪潮中，與企業(yè)一起在AI時代起跑。

基于對企業(yè)需求的洞察，網(wǎng)宿科技在業(yè)內(nèi)率先打造了網(wǎng)宿邊緣AI網(wǎng)關，在行業(yè)中開創(chuàng)了新的服務范式。

具體來看，在一般情況下，企業(yè)管理其所接入的多個大模型，需要提前做一些集成開發(fā)。網(wǎng)宿邊緣AI網(wǎng)關則提供了一個通用、一體化的解決方案。企業(yè)可通過統(tǒng)一的控制平臺，創(chuàng)建邊緣AI網(wǎng)關，添加通道，實現(xiàn)與多AI服務商模型對接，并且平臺支持多模型服務的可管、可控、可觀察。

其中，在接入層面，網(wǎng)宿邊緣AI網(wǎng)關提前完成了與多個主流AI服務商的集成，企業(yè)開發(fā)人員無需頻繁修改代碼，只需在控制臺進行網(wǎng)關配置，一次接入，即可使用多個模型服務，大大提升接入效率。

在管理層面，網(wǎng)宿邊緣AI網(wǎng)關支持特殊配置，企業(yè)可以在AI網(wǎng)關上靈活定義優(yōu)先級、負載均衡、限速等策略，按需配置不同模型服務，實現(xiàn)成本可控或減少濫用，并且企業(yè)可在請求失敗情況下實現(xiàn)無縫切換，提升AI服務的可靠性。另外，企業(yè)還可以啟用緩存功能，一旦請求在AI緩存中命中，則不必回到模型提供商，減少模型提供商tokens數(shù)的消耗，降低成本，提高響應速度。

在運營層面，網(wǎng)宿邊緣AI網(wǎng)關提供數(shù)據(jù)可視化功能，聚合來自多個模型提供商的指標，支持請求數(shù)、tokens數(shù)、緩存數(shù)、錯誤數(shù)等的分析展示，并提供實時日志記錄，讓企業(yè)可以觀測和控制模型服務的使用情況，以優(yōu)化模型服務策略。

曾智全進一步介紹，在實現(xiàn)多模型服務的高效接入與管理的同時，網(wǎng)宿邊緣AI網(wǎng)關的核心價值，還在于確保模型服務的安全性、高性能，以及可定制化。

安全性對AI應用至關重要。在安全性方面，企業(yè)可在網(wǎng)宿邊緣AI網(wǎng)關上配置提示詞過濾規(guī)則或執(zhí)行內(nèi)容安全審計，以確保交互內(nèi)容安全、合規(guī)且尊重用戶。

在服務性能上，依托網(wǎng)宿強大的全球資源網(wǎng)絡，用戶就近接入邊緣分布式AI網(wǎng)關，可以確保訪問的穩(wěn)定性和速度，減少因跨國網(wǎng)絡波動等異常因素對用戶體驗的影響。

尤為值得一提的是，網(wǎng)宿可以支持開發(fā)人員在離用戶最近的邊緣位置實現(xiàn)一定程度的無服務化開發(fā)。通過將網(wǎng)宿邊緣AI網(wǎng)關和網(wǎng)宿邊緣函數(shù)結(jié)合使用，靈活定制一些模型調(diào)用或中間處理邏輯，1小時內(nèi)即可上線服務，大幅節(jié)省研發(fā)人員時間。

據(jù)悉，目前，網(wǎng)宿邊緣AI網(wǎng)關已開放限時免費測試，以支撐用戶的AI體驗。而除此之外，網(wǎng)宿深入企業(yè)應用，聚焦特定的AI場景，還打造了邊緣向量數(shù)據(jù)庫、邊緣模型推理服務等，計劃下一步面向公眾開放。

屆時，企業(yè)可輕松集成公共或自有模型，通過邊緣AI網(wǎng)關，合理管控模型應用，獲知多模型運行數(shù)據(jù)，或是與邊緣函數(shù)、邊緣KV存儲、應用引擎等組合使用，靈活構建和擴展邊緣AI應用，執(zhí)行智能問答、內(nèi)容創(chuàng)作、檢索增強、圖片識別等AI任務。（御風）

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。