專題分享丨5G虛擬化PLC技術研究與實踐
作者簡介
張悅 中國移動通信有限公司研究院前沿技術研究員，主要從事工業協議、實時虛擬化等技術研究工作。
劉瑋哲 中國移動通信有限公司研究院主任研究員，主要從事實時操作系統、工業控制系統等技術研究工作。
房正正 中國移動通信有限公司研究院前沿技術研究員，主要從事實時操作系統、工業控制系統等技術研究工作。
王曦澤 中國移動通信有限公司研究院技術經理，主要從事物聯網、工業互聯網等方面的研究工作。
王小瑩 中國移動通信有限公司研究院前沿技術研究員，主要從事實時操作系統、工業控制系統等技術研究工作。
馬帥 中國移動通信有限公司研究院物聯網技術與應用研究所副所長，主要從事 5G、工業互聯網等方面的研究工作。
論文引用格式：
張悅, 劉瑋哲, 房正正, 等. 5G虛擬化PLC技術研究與實踐[J]. 信息通信技術與政策, 2023, 49(11): 8-17.
5G虛擬化PLC技術研究與實踐
張悅 劉瑋哲 房正正 王曦澤 王小瑩 馬帥
（中國移動通信有限公司研究院，北京 100053）
摘要：隨著PLC軟件標準化和5G網絡的發展，PLC從專用控制設備向軟件功能服務轉變，工業控制從現場向泛在、從軟硬一體向軟件定義方向演進。首先，通過分析工業控制系統演進趨勢，提出以5G虛擬化PLC為技術底座的新型5G工控系統。其次，分別從架構、關鍵技術等方面闡述了5G虛擬化PLC的技術特點，并介紹了以5G工業網關為載體開展的5G虛擬化PLC技術實踐。最后，展望虛擬化PLC的發展趨勢，分析5G虛擬化PLC技術發展面臨的挑戰。
關鍵詞：虛擬化PLC；5G工業控制；實時虛擬化；“端-邊-云”協同
0 引言
工業控制是工業生產核心環節。可編程邏輯控制器（Programmable Logic Controller，PLC）是工業自動化控制的關鍵設備，廣泛應用于工業、交通、市政等國民經濟各個方面。PLC在順序控制器的基礎上引入了微電子、計算機、自動控制和通信技術而形成的工業控制裝置，目的是用來取代繼電器、執行邏輯、計時計數等順序控制功能，建立柔性的編程控制系統[1]。傳統PLC工控軟件與硬件緊密耦合，國外產品占據主要市場份額，存在成本高、可擴展性不足等問題。
1 工業控制系統演進趨勢
隨著控制科學與計算、信息、通信等學科交叉融合，控制理論從經典反饋控制、現代控制向數據驅動的智能控制發展，控制系統從單點控制、網絡化控制向基于分布式的云控制演進。通過信息與通信技術（Information and Communications Technology，ICT）與運營技術（Operational Technology，OT）融合創新，傳統工業控制系統逐漸向新型工業控制系統演進，具備互聯性、可擴展和數據驅動決策等新特點,具體表現為以下兩大趨勢[1]。
（1）封閉孤立的專用控制架構走向開放解耦的通用控制架構
隨著5G、邊緣計算等技術的出現與發展，傳統ISA-95的五層工業控制架構開始向“端-邊-云”三層架構轉變。其中控制層PLC演進成為產業各界關注的熱點。從技術上看，工控任務從嵌入式專用設備開始向具備實時數據處理能力的云邊通用設備遷移。從業務上看，邏輯控制等軟實時任務逐漸遷移至邊緣或云端集中控制，運動控制等硬實時任務仍留在現場側設備執行。
（2）單一控制任務處理走向分布式多任務協同處理
傳統 PLC 采取順序處理的方式處理任務，但控制規模擴張帶來任務量增加、任務種類廣泛、各任務的優先級差異擴大、任務之間的協同要求變高，尤其是大數據和人工智能技術的引入，傳統控制任務和數據驅動的IT任務高效協同必然要求傳統控制系統從單節點處理向多節點協同處理轉變。
2 5G云化PLC的技術發展路徑
伴隨ICT發展，尤其是以5G為代表的網絡技術發展，5G云化PLC成為解決傳統PLC問題的重要手段。以PLC控制任務部署位置為劃分依據，當前5G云化PLC存在三大技術發展路徑（見圖1）。
圖1 5G云化PLC的技術發展路徑
（1）現場級云化PLC：控制任務部署在工業網關上，適用于現場級中高速控制場景，支持1~5 ms及以上工控周期，具備較高的可靠性，部署成本較低。
（2）邊緣級云化PLC：控制任務部署在室內基帶處理單元（Building Baseband Unit，BBU）、用戶面功能（User Plane Function，UPF）或多接入邊緣計算（Multi-Acess Edge Computing，MEC）上，適用于車間或工廠級中低速集中化控制場景，支持20 ms及以上工控周期，部署成本較低。
（3）廣域級云化PLC：控制任務部署在中心云服務器上，適用于工廠級低速協同控制場景。利用光纖和確定性網絡技術增強，端到端時延可降低至5 ms，但部署成本較高。
目前的5G云化PLC技術路線存在架構不統一、不支持邊端協同、PLC應用無法編排等問題，尤其是5G網絡服務工業控制面臨時延、抖動、可靠性等挑戰。針對上述問題，本文提出5G虛擬化PLC技術架構，通過“端-邊-云”協同，實現3個“統一”：統一運行環境、統一部署調度和統一開發運維門戶。
3 5G虛擬化PLC的技術架構
3.1 虛擬化PLC的典型特征
虛擬化技術是一種資源管理技術，通過使用軟件技術在計算機硬件上創建抽象層，將單個計算機的硬件資源分成多個虛擬計算機，提升資源利用效率和安全性。虛擬化技術在云計算中被廣泛使用，隨著虛擬化技術的不斷發展與成熟，虛擬化技術也在更多的領域、不同的硬件架構上得以應用[2]。
虛擬化PLC（Virtualization PLC，vPLC）通過創建虛擬化運行環境，實現PLC控制任務與硬件設備分離，進而可將PLC任務部署在各類不同網元設備上。vPLC具備3個典型特征。
（1）PLC軟硬解耦：傳統PLC采用嵌入式硬件和實時操作系統，軟硬件耦合緊密。vPLC通過引入PLC運行環境，由PLC運行環境提供PLC任務的加載、執行和調度，從而實現PLC任務與實時操作系統的解耦。
（2）PLC虛擬運行：在通用硬件上通過虛擬化技術，實現異構操作系統部署運行。PLC運行環境部署在虛擬操作系統上，實現PLC任務與底層硬件的解耦。
（3）PLC編排調度：vPLC本質是PLC軟件服務，可在“端-邊-云”系統中對其編排部署，也可在運行期間進行動態調度，提供明顯區別于傳統PLC的靈活性和可擴展性。
與傳統PLC相比，vPLC提高了系統靈活性和可擴展性，降低了設備和運維成本，極大地促進了生產線的更新和重新設計[3]。
3.2 虛擬化PLC為5G工業控制系統提供統一的技術底座
5G工業控制系統以vPLC為核心，旨在提供一種控制即服務（Control as a Service，CaaS）的開放體系架構，PLC控制功能可泛在部署、靈活復用，在異構網絡下實現設備的即插即“控”。5G工業控制系統基于“端-邊-云”協同的理念進行架構設計，包括運行層、服務層和開發層（見圖2）。
圖2 5G工業控制系統架構
（1）運行層：基于實時虛擬化技術，在通用硬件上為vPLC提供統一的實時運行環境。虛擬化支持實時操作系統與非實時操作系統混合部署，支持vPLC的動態擴展。
（2）服務層：負責將vPLC部署到不同物理節點，同時對其生命周期進行管理，實現PLC工控服務統一部署和調度。
（3）開發層：提供PLC應用開發環境、編譯、調試工具，為5G工業控制系統提供統一的開發運維門戶。
5G工業控制系統具備多種技術優點。首先，它為3類不同的云化PLC技術提供統一架構。一方面，支持控制中心從現場向邊緣、中心云遷移，擺脫現場環境對設備的制約，實現PLC控制集中化部署。另一方面，端側vPLC可保障對現場設備的低時延控制，支持包括運動控制在內的各類高實時性應用。其次，在5G各類網元部署vPLC，為工業控制提供了“連接+算力+PLC能力”的一體化能力，打造新型的扁平化工業控制體系，打破傳統工業控制壟斷生態。再次，基于通用軟硬件架構可以降低工業控制成本，推動“軟件定義工業”走向成熟。
4 5G虛擬化PLC關鍵技術
4.1 實時虛擬化PLC任務作為操作系統進程在操作系統上按照工控周期循環運行，必須在每個工控周期確保PLC進程可以接收外部輸入以及獲得CPU處理時間。為了提供可靠的PLC控制服務，操作系統的實時性是關鍵因素。實時虛擬化技術是指在通用硬件上通過軟硬件虛擬化，實現實時計算任務和非實時計算任務混合部署，支持將多個嵌入式設備上的計算任務合并到同一個通用設備中運行。實時虛擬化技術在保障實時性的同時，還可發揮通用操作系統良好的硬件適配和豐富的應用能力，具備降低設備成本、尺寸、功耗，實現異構設備生態兼容等優勢。
目前業界已有多種虛擬化技術，主要分為硬件分區、完全虛擬化、準虛擬化、操作系統虛擬化等。其中，適合做實時虛擬化改造的主要包括以下3種。
（1）硬件分區：將底層硬件資源劃分成為相互獨立的分區，每個分區都具有各自獨立的操作系統。硬件分區實時性好，接近裸機性能，但無法實現資源共享，擴展性不足，資源利用率較低。尤其是外設I/O需要事先分區，無法復用，提高了技術成本。
（2）實時Linux容器：通過Preemption Patch、Xenomai等方式將Linux從分時系統改造為實時系統，再通過容器輕量級虛擬化提供資源隔離，為PLC構建一個實時、虛擬化的運行環境。該方案可充分利用Linux成熟的軟硬件生態，降低PLC軟件移植成本。盡管容器運行開銷較低，但改造后Linux內核實時性仍低于實時操作系統（Real Time Operating System，RTOS），在伺服運動控制等場景存在抖動毛刺問題。
（3）微內核虛擬化：通過微內核作為Type-1的虛擬化軟件（Hypervisor）實現RTOS與通用操作系統（General Purpose Operating System，GPOS）混合部署。微內核相對宏內核功能簡化、開銷小、安全性好，可在提供硬件虛擬化同時提供高實時性。目前，該技術在工業、汽車車機、機器人等領域呈現積極發展態勢，但存在技術生態不成熟、硬件適配難度大等問題。
5G工業控制系統可依據不同網元、不同場景選擇不同實時虛擬化實現方式。對于邊緣和云側vPLC，優先選擇實時Linux容器技術。一方面Linux實時改造開銷小、部署便捷。另一方面容器編排調度、冗余備份技術成熟，風險低。考慮到端側vPLC實時性要求較高以及端邊協同需要，端側vPLC優先選擇實時Linux容器或微內核虛擬化方案。
4.2 5G確定性網絡5G工業控制系統對網絡連接提出兩大主要要求。一是極低延遲的空口能力。在工業運動控制、控制器間通信、高速邏輯控制等場景下，控制周期短(1~5 ms)，可靠性要求高(>99.999 9%)，數據縱向跨層、橫向跨系統對無線空口性能提出了高要求。二是在異構網絡環境下數據的確定性傳輸。網絡誘導時延的不確定是影響控制系統穩定性的關鍵因素。現有網絡線性跳躍系統建模可以補償不穩定的隨機延遲，但仍難以滿足實時控制性能需求[4]。
確定性網絡是一種能夠為用戶提供確定性服務質量的網絡，具備靈活切換確定性服務和非確定性服務、自主控制提供確定性服務質量等級的能力。典型的確定性網絡技術如表1所示。綜合來看，確定性網絡技術是實現5G工控系統網絡的主要路徑。5G確定性網絡（5G Deterministic Networking，5GDN）采用高精度時鐘同步、流量整形、資源預留等技術在5G網絡切片基礎上實現確定性帶寬、確定性時延和99.999 9%的連接可靠性，打造可預期、可規劃、可驗證，有確定性能力的無線網絡，提供“差異化+確定性”的業務體驗[5]。5G確定性網絡結合現場網絡、邊緣計算等技術可實現端到端確定性控制[6]。
表1 典型確定性網絡技術
4.3 “端-邊-云”協同編排
通過實時虛擬化，傳統PLC硬件設備變成與硬件解耦的PLC軟件服務。在5G云邊端架構中，需要對PLC軟件服務進行靈活部署，因此需要提供vPLC統一編排調度平臺。
vPLC編排調度支持將vPLC以容器或虛擬機的方式部署到5G工業網關、5G工業基站、5G工業UPF以及MEC等網元上。編排方式包括計算芯片與 IO 芯片的互連（Controller to IO，C2IO）和計算芯片之間的互連（Controller to Controller，C2C）兩種類型。C2IO指PLC到IO的通信，包含主PLC到IO和從 PLC到IO 兩種情況。C2C指PLC到PLC的通信,主要是主PLC對從PLC的控制。典型場景下，云端部署生產控制系統、工業軟件、企業信息化管理系統等。邊緣側主要部署主PLC,負責與云端系統對接，以C2C類型生成并向部署在端側的從PLC下發控制指令。端側從PLC主要負責C2IO通信，接收邊緣主PLC控制指令，控制現場側IO設備。
與Kubernetes、Kubevirt等編排系統不同，vPLC具有高實時性、高可靠性要求，普通容器或虛擬機的編排難以滿足苛刻的工控周期要求。對vPLC的編排調度需要犧牲部分伸縮性，以換取更高的實時性和可靠性。其中，vPLC冗余熱備是編排調度的核心組成部分。5G vPLC編排調度模型如圖3所示。
圖3 5G vPLC編排調度模型
5 5G虛擬化PLC實踐
5.1 試驗場景與方案為推動5G與工業深度融合，中國移動聯合產業合作伙伴開展5G vPLC的技術實踐，目前已在十余家工業企業驗證應用。以某典型客戶為例，中國移動為該客戶在生產車間部署了5G網絡，為自動導向車（Automated Guided Vehicle，AGV）物料搬運提供網絡服務。業務需要根據不同類型的物料，由業務平臺規劃AGV不同移動路徑，指引AGV在立庫和不同工段間移動。
針對該場景需求，5G工控系統搭建了“主vPLC-從vPLC”端邊協同架構（見圖4）。在邊緣側，主vPLC部署在UPF上，實現PLC的集中化部署。主vPLC負責接收制造執行系統（Manufacturing Execution System，MES）下發的任務指令，將任務封裝成控制指令，發送給AGV攜帶的從vPLC，同時接收從vPLC執行過程中的反饋信息。在現場側，從vPLC部署在5G工控網關上，實現對PLC和5G 數據傳輸設備（Data Terminal Unit，DTU）的“二合一”替換。一方面，從vPLC負責接收到主vPLC發送的控制指令，通過傳感器控制AGV的驅動系統，實現精確的移動和定位。另一方面，當AGV到達目的地，從vPLC將任務執行結果反饋給主vPLC，上報任務完成情況。
圖4 應用場景示意圖
5.2 系統研發
采用實時容器技術分別在5G UPF和工業網關上部署vPLC，將其改造成5G工業UPF和5G工控網關，主要配置如表2所示。
表2 UPF和網關軟硬件配置
5G工業UPF、5G工控網關與編排平臺組成如圖5所示的系統架構，其中主要的研發工作如下。
圖5 系統技術架構圖
（1）Linux內核改造首先，通過集成Preempt-RT補丁將UPF、網關原有內核改造成實時內核，改造后的內核版本分別為Linux 4.18.16-rt和Linux 4.4.167-rt。在高負載情況下，改造前后進程處理最大時延可從8 ms降至500 μs。其次，配置CPU資源隔離將實時任務常駐特定CPU核心，降低任務切換開銷，將進程處理最大時延抖動進一步降到300 μs以下。再次，設計中斷路由，將外設中斷響應路由到其他CPU核心上處理，降低對實時任務運行的干擾。通過上述Linux內核改造，進程處理最大時延抖動可降到100 μs以下（見圖6、圖7）。
圖6 Linux內核改造前進程處理時延
圖7 Linux內核改造后進程處理時延
（2）PLC-runtime容器化為了支持PLC動態擴展，需要為PLC-runtime構建容器虛擬運行環境。首先，基于Alpine構建PLC容器鏡像，主要包括PLC-runtime和32/64位動態鏈接庫集成。目前，系統已經適配兩款國產PLC-runtime。其次，創建vPLC實例對應的容器卷，用于PLC容器運行期間產生的數據持久化。再次，PLC容器運行期間需要訪問主機外設資源。對于RS232/485、CAN等外設接口，通過驅動設備文件映射的方式訪問。對于IP網絡接口，通過端口映射的方式訪問，主要映射的端口包括PLC程序下裝接口以及總線外部服務端口，比如Modbus TCP從站對外服務端口等。
（3）vPLC編排為了支持UPF和網關統一編排，降低網關資源開銷,采用B/S架構開發輕量級編排系統。用戶通過瀏覽器進行前端操作，后端分為管理模塊和編排模塊實現PLC容器編排部署。管理模塊部署在服務器上，主要提供Web訪問、容器鏡像下載、配置和監測PLC容器等功能。編排模塊分別部署在UPF和網關上，主要提供容器鏡像拉取、容器環境配置、運行管理等功能。管理模塊和編排模塊通過HTTP相互通信。以容器運行監測為例，編排模塊通過Docker Client定時與本機Docker服務通信，獲取容器運行狀態信息，然后上報給管理模塊，當管理模塊發現狀態異常時進行異常處理。vPLC編排系統界面如圖8所示。
圖8 虛擬化PLC編排系統界面
5.3 試驗效果
完成5G工業UPF和5G工控網關現場部署后，配置主vPLC與從vPLC、從vPLC與IO采用Modbus TCP通信，將從vPLC工控周期配置為5 ms，主vPLC工控周期為20 ms，主vPLC每個工控周期包含一次與從vPLC的通信。經過長時間運行測試（14 D），AGV調度運行良好，未發生停機或路線偏移故障。測得主vPLC平均執行時間為457 μs，最大執行時間為599 μs，最大抖動為532 μs（見圖9）。在工業控制中,一般要求時延抖動控制在工控周期10%~15%以內。據此測算5G工控系統采用主從vPLC端邊協同架構,可以支持5 ms及以上的工控周期，滿足中高速工業控制性能需要。由于目前5G口空延遲仍在5 ms以上，相比vPLC邊緣側單一部署方案，端邊協同方案實現了集中化部署和支持中高速控制兩大優勢的結合。
圖9 虛擬化PLC性能測量
傳統PLC方案成本包括主PLC、從PLC、5G DTU等設備成本，5G工業控制系統方案包含5G工業UPF軟件授權和5G工控網關的成本，5G工業控制系統方案相比于傳統PLC方案的成本投入，設備采購價格顯著降低50%以上。另外，5G工業控制系統支持統一編排，PLC應用下裝、更新、運維均可以集中化遠程進行，擴展靈活，運維時間縮短80%以上。
綜上所述，5G工控系統在5G網元上通過軟件升級即可提供PLC工業控制服務，無需硬件改造，不干擾UPF或網關的已有業務，支持中高速工業控制，具有應用場景豐富、成本降低、易維護、可擴展等優勢。
6 結束語
隨著第四次工業革命到來，作為工業控制核心的PLC已難以滿足工業互聯發展需要。推動ICT與OT融合創新，加速技術與各類生產要素的融通，構建新型5G工業控制系統前景廣闊。一方面，5G vPLC為5G云化PLC提供了統一的技術架構和技術路徑，另一方面構建5G vPLC技術生態將激勵PLC廠商從硬件產品向軟件服務轉型，為國產PLC技術提供了新的發展空間，有望打破現有PLC“七國八制、國外壟斷”的市場格局。當前，5G工業控制系統仍處在發展初期，需要聯合產業各方力量在微內核虛擬化、確定性網絡、冗余熱備等關鍵方面做技術攻關，不斷提升完善5G工業控制系統。同時，需加強與高校合作，培養工業自動化與信息化復合技術人才，推動工業控制高質量發展。
Research and practice of 5G virtualization PLC technology
ZHANG Yue, LIU Weizhe, FANG Zhengzheng, WANG Xize, WANG Xiaoying, Ma Shuai
(China Mobile Research Institute, Beijing 100053, China)
Abstract: With standardization of Programmable Logic Controller (PLC) software and the development of 5G networks, PLCs are transforming from dedicated control devices to providing software services. Industrial control is moving from the field to ubiquity, and from hardware-software integration to software-defined development. This paper proposes a new 5G industrial control system based on 5G virtualization PLC as the technical foundation by analyzing the evolution trend of industrial control systems. Then, it expounds the technical characteristics of 5G virtualization PLC from architecture and key technologies, and introduces the technology practice of 5G virtualization PLC carried out with 5G industrial control gateway. Finally, it looks forward to the development trend of virtualization PLC and analyzes the challenges faced by the development of 5G virtualization PLC technology.Keywords: virtualization PLC; 5G industrial control; real-time virtualization; end-edge-cloud collaboration
本文刊于《信息通信技術與政策》2023年 第11期
主辦：中國信息通信研究院
《信息通信技術與政策》是工業和信息化部主管、中國信息通信研究院主辦的專業學術期刊。本刊定位于“信息通信技術前沿的風向標，信息社會政策探究的思想庫”，聚焦信息通信領域技術趨勢、公共政策、國家/產業/企業戰略，發布前沿研究成果、焦點問題分析、熱點政策解讀等，推動5G、工業互聯網、數字經濟、人工智能、區塊鏈、大數據、云計算等技術產業的創新與發展，引導國家技術戰略選擇與產業政策制定，搭建產、學、研、用的高端學術交流平臺。
AII微信公眾號
AII頭條號