原標(biāo)題：AIOps中的四大金剛都是誰？

智能運(yùn)維,即AIOps（Artificial Intelligence for IT Operations），是將人工智能的能力與運(yùn)維相結(jié)合，通過機(jī)器學(xué)習(xí)的方法來提升運(yùn)維效率。

在傳統(tǒng)的自動化運(yùn)維體系中，重復(fù)性運(yùn)維工作的人力成本和效率問題得到了有效解決。但在復(fù)雜場景下的故障處理、變更管理、容量管理、服務(wù)資源過程中，仍需要人來掌控決策的過程，這阻礙了運(yùn)維效率的進(jìn)一步提升。而AI方法的引入，使得機(jī)器能夠代替人來做出決策，從而讓實現(xiàn)完全自動化真正意義上成為可能。

在百度AIOps的落地實施過程中，最關(guān)鍵的因素還是人，即AIOps的建設(shè)者們。

AIOps作為一個全新的技術(shù)發(fā)展和應(yīng)用方向，并不是簡單地說具備某一種技能或招募一兩個大牛就可以完成的，它需要不同角色、多個團(tuán)隊的配合才可以達(dá)成。根據(jù)近幾年來整個業(yè)界對AIOps的理解和實踐，AIOps參與角色的劃分也越來越清晰。在百度4年的AIOps實踐中，我們總結(jié)得出如下四種不可或缺的角色：

運(yùn)維工程師

運(yùn)維研發(fā)工程師

平臺研發(fā)工程師

運(yùn)維AI工程師

可以看到，除了運(yùn)維AI工程師外，其他角色并不是AIOps產(chǎn)生之后才出現(xiàn)的，他們在傳統(tǒng)運(yùn)維中也發(fā)揮了重要作用。我們今天主要想和大家探討一下，在AIOps時代，他們的職責(zé)究竟發(fā)生了哪些變化。為了方便大家理解，我們會基于百度云智能運(yùn)維的實踐案例，來進(jìn)行具體說明。

單機(jī)房故障自愈場景

單機(jī)房故障自愈是一個典型的百度AIOps落地項目。該方案主要解決的問題場景如下：某個業(yè)務(wù)由于網(wǎng)絡(luò)、設(shè)備、變更、程序Bug、容量等原因造成故障，但故障范圍僅局限在單個機(jī)房或單個Region內(nèi)部。那么，我們可以基于流量調(diào)度等手段，將訪問流量調(diào)度到非故障機(jī)房或Region，實現(xiàn)該類型故障的自動止損。

整個故障自愈過程分為如下幾個階段：

在這個過程中，需要AIOps四種角色分工明確、緊密配合，來完成整個AIOps解決方案的落地實現(xiàn)。在單機(jī)房故障自愈場景下，四種角色的關(guān)系如下圖所示：

運(yùn)維工程師

在單機(jī)房故障自愈項目中，運(yùn)維工程師基于日常運(yùn)維工作中所積累的場景、問題等方面經(jīng)驗，確定以單機(jī)房故障止損作為主要需求和突破口，通過定義單機(jī)房故障止損的問題域、解決思路以及風(fēng)險點，明確AI可以發(fā)力的領(lǐng)域。運(yùn)維工程師的職責(zé)主要包括如下幾個方面：

在完成問題域的定義后，運(yùn)維工程師需要跟蹤整個單機(jī)房故障自愈解決方案的落地，包括在策略設(shè)計前期提供數(shù)據(jù)標(biāo)注支持，在中期進(jìn)行效果的驗收，在后期將單機(jī)房故障自愈方案實際部署運(yùn)行到生產(chǎn)環(huán)境。

AIOps時代的職責(zé)和技能變化

運(yùn)維工程師承擔(dān)線上服務(wù)質(zhì)量的責(zé)任，是服務(wù)質(zhì)量的關(guān)鍵保證。在工作過程中，會與研發(fā)、產(chǎn)品、運(yùn)營等各類角色、不同團(tuán)隊進(jìn)行深度的溝通和協(xié)作。

傳統(tǒng)運(yùn)維中，運(yùn)維工程師的主要職責(zé)分為三個方面：質(zhì)量、成本、效率。

主要包含如下工作內(nèi)容：

在AIOps落地實施中，運(yùn)維工程師是處于中心的角色，也賦予了新的職責(zé)，他們是AIOps具體實施的需求提出者和成果驗收者。具體職責(zé)包括：

在AIOps時代，運(yùn)維工程師一方面需要熟悉運(yùn)維領(lǐng)域的知識，了解運(yùn)維的難題和解決思路；另一方面需要了解人工智能和機(jī)器學(xué)習(xí)的思路，能夠理解哪些場景問題適合用機(jī)器學(xué)習(xí)方法解決，需要提供怎樣的樣本和數(shù)據(jù)，即成為AI在運(yùn)維領(lǐng)域落地實施的解決方案專家。

運(yùn)維AI工程師

在單機(jī)房故障自愈場景中，運(yùn)維AI工程師將機(jī)器學(xué)習(xí)的算法與實際的故障處理業(yè)務(wù)場景相結(jié)合，針對單機(jī)房故障場景的風(fēng)險點，進(jìn)行策略研發(fā)與實驗工作。如下圖所示：

運(yùn)維AI工程師分別設(shè)計了如下算法策略來滿足整個復(fù)雜故障場景的自動決策：

• 異常檢測算法：解決故障發(fā)現(xiàn)時指標(biāo)異常判斷問題，基于AI方法實現(xiàn)較高的準(zhǔn)確率和召回率，作為整個故障自愈的數(shù)據(jù)基礎(chǔ)。
• 策略編排算法：基于當(dāng)前線上的實際流量和服務(wù)狀態(tài)，設(shè)計損益計算模型，判斷基于何種方式的操作組合或步驟，能夠使整個自動止損帶來收益最大，風(fēng)險最小。
• 流量調(diào)度算法：基于線上服務(wù)容量與實時流量情況，進(jìn)行精確流量比例計算，防御容量不足或不準(zhǔn)風(fēng)險，并實現(xiàn)流量調(diào)度收益最大化。

在完成策略設(shè)計與研發(fā)后，需要根據(jù)歷史數(shù)據(jù)進(jìn)行Case回溯，并進(jìn)行仿真Case模擬，來驗證策略效果，并進(jìn)行逐步迭代調(diào)優(yōu)，以達(dá)到線上運(yùn)行的準(zhǔn)確率和召回率要求。

AIOps時代的職責(zé)和技能變化

運(yùn)維AI工程師是將AI引入運(yùn)維的核心角色。他們針對運(yùn)維數(shù)據(jù)、運(yùn)維經(jīng)驗進(jìn)行理解和梳理，使用機(jī)器學(xué)習(xí)的方法將海量運(yùn)維數(shù)據(jù)進(jìn)行匯總、歸納，使得數(shù)據(jù)的價值顯現(xiàn)出來。

運(yùn)維AI工程師首先需要具備AI工程師的技能，需要對數(shù)學(xué)及機(jī)器學(xué)習(xí)方法有足夠的掌握程度，并能應(yīng)用實踐。如下圖所示AI工程師技能表：

如單機(jī)房故障自愈場景中的介紹，運(yùn)維AI工程師需要具備機(jī)器學(xué)習(xí)知識并將其在運(yùn)維領(lǐng)域落地的能力。運(yùn)維AI工程師的職責(zé)如下：

平臺研發(fā)工程師

在單機(jī)房故障自愈場景中，平臺研發(fā)工程師需要關(guān)注三類平臺的建設(shè)。如圖所示：

• 基礎(chǔ)運(yùn)維平臺：提供單機(jī)房故障自愈場景中的依賴平臺，如：監(jiān)控平臺和流量調(diào)度平臺。在日常運(yùn)維中提供標(biāo)準(zhǔn)化運(yùn)維數(shù)據(jù)獲取和運(yùn)維操作的基礎(chǔ)，而在AIOps中，這部分接口需要能夠同時支持人工和自動的數(shù)據(jù)獲取和運(yùn)維操作。
• 智能運(yùn)維平臺：提供對AI能力的支持，如：統(tǒng)一的數(shù)據(jù)服務(wù)（運(yùn)維知識庫）、運(yùn)維開發(fā)框架，以及給AI策略實驗和運(yùn)行的運(yùn)維策略框架等。
• 故障自愈機(jī)器人：針對單個業(yè)務(wù)場景進(jìn)行平臺化抽象，使之成為一個基礎(chǔ)服務(wù)，基于AIOps平臺研發(fā)和運(yùn)行。

AIOps時代的職責(zé)和技能變化

平臺研發(fā)工程師負(fù)責(zé)運(yùn)維平臺及基礎(chǔ)組件的研發(fā)與建設(shè)。

在傳統(tǒng)運(yùn)維場景中，平臺研發(fā)工程師負(fù)責(zé)平臺、基礎(chǔ)組件、類庫和工具的研發(fā)工作。在針對運(yùn)維的場景中，會覆蓋與運(yùn)維相關(guān)的服務(wù)管理、監(jiān)控、變更、流量調(diào)度等平臺。

這部分平臺是運(yùn)維的基礎(chǔ)，在AIOps時代仍然需要依賴于這些平臺的建設(shè)。

同時在AIOps場景中，數(shù)據(jù)成為了中心，運(yùn)維各種狀態(tài)信息轉(zhuǎn)換為大數(shù)據(jù)，機(jī)器學(xué)習(xí)則作用在大數(shù)據(jù)上進(jìn)行分析。在百度AIOps的實踐中，運(yùn)維開發(fā)框架、運(yùn)維知識庫、運(yùn)維策略框架共同組成了完整的智能運(yùn)維平臺，三大平臺的建設(shè)和實施離不開大數(shù)據(jù)、機(jī)器學(xué)習(xí)架構(gòu)的引入。

這就要求平臺研發(fā)工程師具備大數(shù)據(jù)、機(jī)器學(xué)習(xí)平臺架構(gòu)師的多重身份，具備流式計算、分布式存儲、機(jī)器學(xué)習(xí)平臺、算法策略平臺等一系列大數(shù)據(jù)和機(jī)器學(xué)習(xí)平臺架構(gòu)能力。

運(yùn)維研發(fā)工程師

基于多個業(yè)務(wù)線場景抽象出的單機(jī)房故障自愈解決方案，能夠滿足大部分場景需求，但并不意味著可以直接提供給各個業(yè)務(wù)線來使用。原因如下：

• 策略和參數(shù)需要進(jìn)行調(diào)整
• 流量調(diào)度、容災(zāi)策略等策略，針對不同的業(yè)務(wù)線，配置并不相同。例如某些業(yè)務(wù)對響應(yīng)時間敏感，跨地域的調(diào)度會帶來較大的延遲，影響用戶體驗，這時就需要根據(jù)業(yè)務(wù)情況配置機(jī)房之間的跨機(jī)房流量調(diào)度延遲系數(shù)，來實現(xiàn)流量優(yōu)先調(diào)度到延遲系數(shù)最低的機(jī)房。
• 通用框架無法滿足所有需求
• 部分業(yè)務(wù)線需要對原有的策略進(jìn)行部分重寫才能夠滿足需求。例如，部分業(yè)務(wù)在流量調(diào)度時，需要聯(lián)動服務(wù)降級來滿足容量需求，這就需要額外增加服務(wù)降級聯(lián)動的邏輯。

那么，就需要運(yùn)維研發(fā)工程師出手來解決這個問題。根據(jù)業(yè)務(wù)線的實際情況，對策略和參數(shù)進(jìn)行配置和調(diào)優(yōu)，對通用框架無法滿足的需求，進(jìn)行定制化研發(fā)，使得單機(jī)房故障自愈方案能夠?qū)嶋H應(yīng)用在不同業(yè)務(wù)線上。

AIOps時代的職責(zé)和技能變化

運(yùn)維研發(fā)工程師負(fù)責(zé)基于業(yè)務(wù)線特征的運(yùn)維研發(fā)工作，在傳統(tǒng)運(yùn)維中，是運(yùn)維自動化的實施者，實現(xiàn)了針對業(yè)務(wù)場景的自動化運(yùn)維實施落地。其職責(zé)如下：

在AIOps時代，運(yùn)維研發(fā)工程師承擔(dān)了AIOps智能化運(yùn)維解決方案在業(yè)務(wù)線實施落地的職責(zé)。他們是AIOps場景的實踐者，將AIOps解決方案與業(yè)務(wù)架構(gòu)特征相結(jié)合，實現(xiàn)AIOps在業(yè)務(wù)線的落地。

一方面，他們會與運(yùn)維工程師緊密配合，對業(yè)務(wù)問題進(jìn)行深度分析，理解業(yè)務(wù)的特點。

另一方面，他們與平臺研發(fā)工程師、AI工程師相配合，基于AIOps解決方案的策略和框架，進(jìn)行定制化開發(fā)，使其適合自身業(yè)務(wù)線的特征。

總結(jié)

本文介紹了運(yùn)維工程師、運(yùn)維AI工程師、平臺研發(fā)工程師、運(yùn)維研發(fā)工程師四種角色從自動化運(yùn)維時代到AIOps智能化運(yùn)維時代，其職責(zé)和技能的拓展與變化。AIOps技術(shù)為運(yùn)維技術(shù)的發(fā)展帶來了更多的機(jī)遇，對于每個參與到AIOps實施的個人或團(tuán)隊也是如此。四種角色既有術(shù)業(yè)專攻，同時又緊密協(xié)作，共同將AI能力引入為運(yùn)維賦能。那么，你的選擇是什么呢？

作者簡介

運(yùn)小青 百度云高級研發(fā)工程師

負(fù)責(zé)百度云智能運(yùn)維產(chǎn)品（Noah）的研發(fā)工作，推動AIOps的實踐與落地。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。