云端和邊緣端需互相補(bǔ)充,協(xié)同訓(xùn)練推理,構(gòu)建云端和邊緣端連續(xù)的學(xué)習(xí)循環(huán),保證業(yè)務(wù)長期可靠穩(wěn)定地運(yùn)行。云邊協(xié)同訓(xùn)練推理,解決工業(yè)邊端算力不足;數(shù)據(jù)無需上傳云端,解決工業(yè)客戶數(shù)據(jù)隱私問題;AI協(xié)同服務(wù)按需定制,解決工業(yè)智能化場景碎片化問題。
邊云協(xié)同平臺(tái)、邊緣智能、協(xié)同推理、模型優(yōu)化
中國電信:丁鵬,dingpeng6@chinatelecom.cn
瑞斯康達(dá):提供智能工廠典型應(yīng)用場景環(huán)境,參與現(xiàn)場測試床驗(yàn)證
基于柔性制造PCB焊點(diǎn)質(zhì)量檢測驗(yàn)證:已有大量PCB焊點(diǎn)質(zhì)量檢測數(shù)據(jù)集,在此基礎(chǔ)上建立PCB焊點(diǎn)質(zhì)量檢測模型,通過測試床進(jìn)行模型的持續(xù)優(yōu)化,為柔性制造PCB焊點(diǎn)質(zhì)量檢測提供基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床。
定制化AI協(xié)同服務(wù)驗(yàn)證:基于智能邊緣設(shè)備,實(shí)現(xiàn)基于5G MEC+邊緣智能的AI邊云協(xié)同訓(xùn)練和協(xié)同推理,就近為端側(cè)提供算力支持和模型持續(xù)優(yōu)化支持,保護(hù)數(shù)據(jù)隱私,為用戶持續(xù)提升智能化品質(zhì)。
保障企業(yè)保密數(shù)據(jù)本地化:保障企業(yè)數(shù)據(jù)不出邊緣節(jié)點(diǎn)即可參與模型訓(xùn)練。
讓服務(wù)可定制,降低資源消耗:提供適合業(yè)務(wù)需求的智能邊緣設(shè)備AI協(xié)同服務(wù),即裝即用,降低資源消耗。
提升模型效果:云邊協(xié)同,循環(huán)促進(jìn)的訓(xùn)練推理模式,保證模型的長期可靠運(yùn)行。
測試床在企業(yè)本地部署通用服務(wù)器或MEC,也可使用運(yùn)營商云主機(jī)或公用MEC平臺(tái),作為測試床云端,使用定制化的智能邊緣設(shè)備作為邊緣端,兼容現(xiàn)有的AI框架,提供跨云邊協(xié)同訓(xùn)練推理框架,并使用增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)等能力提供可優(yōu)化的AI模型服務(wù)。使用模型壓縮等技術(shù)實(shí)現(xiàn)云邊協(xié)同推理,保證業(yè)務(wù)的穩(wěn)定可靠運(yùn)行。
測試床適用于支撐智能工廠中的工業(yè)智能應(yīng)用場景,例如焊點(diǎn)檢測、產(chǎn)品質(zhì)量檢測、工人非法越界檢測、安全帽檢測、工服檢測、人臉識(shí)別等。
1. 在體系架構(gòu)的位置
本測試床在工業(yè)互聯(lián)網(wǎng)功能視圖平臺(tái)體系框架中的位置如下圖所示,通過邊緣層的數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理和智能分析實(shí)現(xiàn)邊緣側(cè)的數(shù)據(jù)處理和分析,通過PaaS層和應(yīng)用層的資源部署與管理、數(shù)據(jù)管理與服務(wù)、模型管理與服務(wù)和工業(yè)創(chuàng)新應(yīng)用實(shí)現(xiàn)模型優(yōu)化和更新、協(xié)同推理。過程實(shí)現(xiàn)數(shù)據(jù)的優(yōu)化閉環(huán),形成云邊模型連續(xù)的學(xué)習(xí)循環(huán)。
2. 在實(shí)施框架的位置
工業(yè)互聯(lián)網(wǎng)平臺(tái)實(shí)施框架中,本測試床內(nèi)容包含邊緣層的數(shù)據(jù)預(yù)處理和邊緣智能應(yīng)用部分,企業(yè)層在企業(yè)MEC上部署平臺(tái)的云端包括數(shù)據(jù)模型、工業(yè)模型的管理等。在產(chǎn)業(yè)層提供多企業(yè)MEC協(xié)同接口,支撐開展資源配置優(yōu)化和產(chǎn)業(yè)生態(tài)的構(gòu)建。實(shí)施架構(gòu)如下圖所示:
3. 本測試床架構(gòu)
本測試床主要提供低成本、高性能、易使用、隱私保護(hù)的邊緣智能,滿足企業(yè)數(shù)據(jù)本地化(數(shù)據(jù)不出廠區(qū))和即裝即用的定制化服務(wù)。測試床架構(gòu)如下圖所示:
基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床功能架構(gòu)如下圖所示:
1. 自動(dòng)化異構(gòu)邊緣適配
定制化邊緣AI服務(wù)與邊緣智能設(shè)備、邊緣智能硬件廠商進(jìn)行適配,實(shí)現(xiàn)自動(dòng)化的邊緣資源適配。
2. 實(shí)現(xiàn)邊緣AI基礎(chǔ)框架
實(shí)現(xiàn)邊緣AI 管理,數(shù)據(jù)集管理,數(shù)據(jù)預(yù)處理,跨云邊數(shù)據(jù)同步,配置管理等。
3. 云邊協(xié)同訓(xùn)練和協(xié)同推理
高效利用云邊各類資源。利用模型壓縮、困難樣本發(fā)現(xiàn)等技術(shù)實(shí)現(xiàn)協(xié)同推理;利用遷移學(xué)習(xí)、增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)技術(shù)實(shí)現(xiàn)邊緣AI可長期可靠穩(wěn)定的使用 。實(shí)現(xiàn)高性能、低成本、隱私安全的邊緣AI系統(tǒng)。基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床技術(shù)實(shí)施方案如下圖所示:
? 模型優(yōu)化技術(shù):解決邊緣AI模型的訓(xùn)練優(yōu)化問題,保證模型長期穩(wěn)定運(yùn)行。
? 邊云協(xié)同訓(xùn)練、協(xié)同推理技術(shù):基于現(xiàn)有的邊云協(xié)同平臺(tái)打造邊云協(xié)同訓(xùn)練和協(xié)同推理框架,保證業(yè)務(wù)對(duì)時(shí)間延時(shí)和精度的需求。
? 輕量化模型分割技術(shù):通過DNN模型壓縮技術(shù)和模型拆分技術(shù),實(shí)現(xiàn)輕量化的邊緣模型,適用邊緣算力較低的設(shè)備
4.5. 應(yīng)用場景
測試床應(yīng)用:
基于5G+AI的零部件質(zhì)量檢測,可在復(fù)雜紋理圖像及背景干擾下,對(duì)零部件外觀進(jìn)行精準(zhǔn)分類,大幅減少漏檢誤檢,同時(shí)對(duì)檢測結(jié)果數(shù)據(jù)實(shí)時(shí)回傳訓(xùn)練,形成模型高效迭代閉環(huán),提升檢測準(zhǔn)確率,解決傳統(tǒng)管理痛點(diǎn),助理提升企業(yè)效能。
本測試床將5G MEC、AI工業(yè)視覺能力與產(chǎn)線結(jié)合,構(gòu)建了一套基于5G MEC云邊協(xié)同+工業(yè)視覺檢測的柔性制造SMT產(chǎn)線。PCB板進(jìn)入產(chǎn)線后,分別通過錫膏印刷、SMT貼片焊接、波峰回流焊接等流程后,最終與其他零部件一起通過裝配、成品測試以及包裝行程成品。流程包括SPI視覺檢測、爐前/爐后AOI 視覺檢測、產(chǎn)品裝配工序視覺檢測、產(chǎn)品質(zhì)量視覺檢測和包裝貼標(biāo)視覺檢測。
1. 協(xié)同推理
在焊點(diǎn)質(zhì)量檢測場景中如何使用跨云邊協(xié)同推理服務(wù)。由于邊緣資源有限,焊點(diǎn)質(zhì)量檢測性能較低。但是,協(xié)同推理服務(wù)可以提高整體性能,將通過困難樣本挖掘識(shí)算法將困難樣板上傳到云并進(jìn)行推理。
協(xié)同推理對(duì)延時(shí)要求較高,5G網(wǎng)絡(luò)與MEC,實(shí)現(xiàn)推理結(jié)果的超高速率和超低時(shí)延。
2. 聯(lián)邦學(xué)習(xí)
充分利用5G海量機(jī)器連接特性滿足大量的5G工業(yè)網(wǎng)關(guān)和工業(yè)攝像頭的接入,為聯(lián)邦學(xué)習(xí)提供可靠的網(wǎng)絡(luò)基礎(chǔ)。
隱私保護(hù)、數(shù)據(jù)安全:不同工廠的焊接技術(shù)是屬于加密技術(shù),焊點(diǎn)成像采集的圖像不能用于共享訓(xùn)練數(shù)據(jù),通過聯(lián)邦學(xué)習(xí)技術(shù),無需分享本廠的成像數(shù)據(jù),保證數(shù)據(jù)的隱私性和安全性。
解決數(shù)據(jù)孤島問題:單一工廠的數(shù)據(jù)數(shù)量有限,焊點(diǎn)技術(shù)單一,不能包括多種質(zhì)量問題的類型,通過云上的參數(shù)服務(wù)模塊對(duì)全局模型進(jìn)行優(yōu)化合并,充分利用各節(jié)點(diǎn)資源,提高模型的精度。
云邊聯(lián)邦學(xué)習(xí)通信開銷問題:真邊緣端和云端之間經(jīng)由網(wǎng)絡(luò)連接和傳輸數(shù)據(jù)(模型、參數(shù))所造成的。
上行通信成本:邊緣端將本地計(jì)算得到的模型更新傳遞到云端。
下行通信成本:云端到邊緣端傳遞全局模型。
客戶端和中央服務(wù)器之間要進(jìn)行多次通信。在工業(yè)的邊緣計(jì)算場景中,通過有大量設(shè)備與云端進(jìn)行通信。對(duì)帶寬有較高的要求,要求大量節(jié)點(diǎn)能同時(shí)將其消息上傳到云端。帶寬問題會(huì)導(dǎo)致訓(xùn)練速度大大減慢,模型的收斂速度較慢。
5G網(wǎng)絡(luò)中通信速率和帶寬得到了極大的提升。依托5G網(wǎng)絡(luò),解決聯(lián)邦學(xué)習(xí)中的通信開銷問題,推動(dòng)聯(lián)邦學(xué)習(xí)在工業(yè)領(lǐng)域的應(yīng)用,是本測試床需要解決的問題之一。
3. 遷移增量學(xué)習(xí)
條件允許的情況下,使用全部數(shù)據(jù)重新訓(xùn)練模型的效果是最佳的。真實(shí)的生產(chǎn)環(huán)境是開放并且復(fù)雜多變的,在訓(xùn)練模型之前無法獲得所有可能情形的有效信息作為訓(xùn)練數(shù)據(jù)。隨著終端運(yùn)行不斷生產(chǎn)數(shù)據(jù),新的類別不斷產(chǎn)生,已有類別的新實(shí)例不斷出現(xiàn),智能邊緣能夠在獲得新數(shù)據(jù)時(shí),重新訓(xùn)練數(shù)據(jù),保證不斷優(yōu)化學(xué)習(xí)的能力。
利用5G MEC的計(jì)算、存儲(chǔ)能力,實(shí)現(xiàn)模型的自優(yōu)化、自更新。
技術(shù)創(chuàng)新:平臺(tái)兼容現(xiàn)有的AI框架,通過遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、增量學(xué)習(xí)和模型壓縮等技術(shù)實(shí)現(xiàn)協(xié)同訓(xùn)練和協(xié)同推理,解決邊緣數(shù)據(jù)樣本少,冷啟動(dòng)、邊緣數(shù)據(jù)隱私問題等,讓模型越用越精確。
模式創(chuàng)新:5G MEC下沉,降低業(yè)務(wù)時(shí)延;平臺(tái)在產(chǎn)業(yè)層實(shí)現(xiàn)多企業(yè)MEC協(xié)同接口,匯聚產(chǎn)業(yè)資源,優(yōu)化資源配置,有助于構(gòu)建產(chǎn)業(yè)生態(tài)。
應(yīng)用創(chuàng)新:結(jié)合不同層級(jí)不同環(huán)境的計(jì)算設(shè)備承擔(dān)不同算力需求的任務(wù),結(jié)合企業(yè)需求,提供定制化的AI協(xié)同服務(wù)。
本測試床實(shí)施分為三個(gè)階段:
? 第1階段:2021.02-2021.03
開展測試床場景梳理、可行性評(píng)估、測試床架構(gòu)設(shè)計(jì)等工作。
? 第2階段:2021.04-2021.07
開展測試床實(shí)施方案設(shè)計(jì)、設(shè)備選型與環(huán)境建設(shè)、測試床平臺(tái)功能測試等工作。
? 第3階段:2021.08-2022.01
開展測試床部署、典型應(yīng)用場景驗(yàn)證、輸出針對(duì)焊點(diǎn)檢測常間的實(shí)施方案等工作。
本測試床參與方分工協(xié)作,共同支撐與保障本測試床的實(shí)施工作:
中國電信股份有限公司研究院負(fù)責(zé)基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床部署與驗(yàn)證。
瑞斯康達(dá)科技發(fā)展股份有限公司負(fù)責(zé)提供智能工廠典型應(yīng)用場景環(huán)境,參與現(xiàn)場測試床驗(yàn)證等工作。
本測試床實(shí)施各項(xiàng)關(guān)鍵技術(shù)均為自主研發(fā),具有良好的自主可控性。
1. 適配異構(gòu)邊緣AI設(shè)備適配
實(shí)施前:目前的模型在某些硬件平臺(tái)上無法直接運(yùn)行,與硬件環(huán)境有強(qiáng)依賴。
實(shí)施后:與硬件設(shè)備廠商開展合作,適配設(shè)備環(huán)境,實(shí)現(xiàn)自動(dòng)化資源適配。
2. 邊緣AI協(xié)同基礎(chǔ)框架實(shí)現(xiàn)
實(shí)施前:目前平臺(tái)的云邊協(xié)同平臺(tái)未支持各種AI框架、未實(shí)現(xiàn)對(duì)數(shù)據(jù)集和模型的管理。
實(shí)施后:云邊支持TensorFlow、pytorch等AI端框架、數(shù)據(jù)集管理、模型管理、跨云邊數(shù)據(jù)同步等。
3. 跨邊云協(xié)同訓(xùn)練推理構(gòu)建
實(shí)施前:云端訓(xùn)練,邊緣推理,邊端不支持大模型的運(yùn)行。
實(shí)施后:合理利用云邊資源,根據(jù)負(fù)載,對(duì)應(yīng)用類型實(shí)時(shí)調(diào)度,實(shí)現(xiàn)高性能、低成本、數(shù)據(jù)安全。
4. 增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)驗(yàn)證
實(shí)施前:缺少跨邊云AI協(xié)同優(yōu)化框架實(shí)施情況
實(shí)施后:支持多種模型優(yōu)化方案,保證AI模型長期穩(wěn)定可靠運(yùn)行。
首個(gè)具有增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)框架、協(xié)同訓(xùn)練推理的平臺(tái):解決邊緣智能跨云邊協(xié)同訓(xùn)練推理落地推廣中遇到的AI模型訓(xùn)練等棘手問題。
讓工廠用得方便的邊緣智能:提供定制化的服務(wù),實(shí)現(xiàn)企業(yè)的智能化生產(chǎn)與監(jiān)控,持續(xù)優(yōu)化提升工廠的智能化水平,節(jié)約資源,提升效率。
1. 形成可推廣解決方案
可基于5G定制網(wǎng),以邊緣智能為核心,形成面向智慧工廠的AI定制協(xié)同服務(wù)解決方案:
l 邊緣智能AI跨邊云協(xié)同服務(wù)框架
l AI跨邊云協(xié)同服務(wù)產(chǎn)品:工業(yè)智能邊緣設(shè)備+定制化AI跨邊云協(xié)同服務(wù)
l 面向智慧工廠集成產(chǎn)品:端+網(wǎng)+云+AI協(xié)同管理
2. 可推廣垂直行業(yè)
以瑞斯康達(dá)測試床為基礎(chǔ),向柔性制造行業(yè)推廣,如網(wǎng)關(guān)設(shè)備制造、MEC設(shè)備制造等。
以焊點(diǎn)檢測場景實(shí)施為基礎(chǔ),向其他工業(yè)智能場景推廣,如產(chǎn)品質(zhì)量檢測、防靜電服檢測、人臉識(shí)別、安全模識(shí)別檢測等。
3. 推廣路徑
? 技術(shù)推廣:牽頭制定行業(yè)標(biāo)準(zhǔn)、測試床推廣、典型案例推廣
? 產(chǎn)品推廣:不斷豐富邊云協(xié)同訓(xùn)練推理框架在智慧工廠場景的實(shí)施部署
? 服務(wù)推廣:打造面向智慧工廠邊云協(xié)同平臺(tái)培訓(xùn)/展示服務(wù),帶動(dòng)更多行業(yè)和企業(yè)部署
本測試床部署在工廠車間內(nèi),在此進(jìn)行測試床成果的測試與驗(yàn)證。具體時(shí)間計(jì)劃見測試床實(shí)施規(guī)劃時(shí)間表。
1. 邊緣智能服務(wù)部署驗(yàn)證內(nèi)容
? 適合工廠特定場景的自研輕量級(jí)邊緣模型和云模型
? 實(shí)現(xiàn)模型管理和數(shù)據(jù)集管理
? 具有與邊緣模型相匹配算力的智能邊緣設(shè)備
2. 跨云邊協(xié)同訓(xùn)練推理平臺(tái)驗(yàn)證內(nèi)容
? 兼容現(xiàn)有的AI框架
? 具備聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)、增量學(xué)習(xí)模型的協(xié)同訓(xùn)練框架
? 具備云邊協(xié)同推理框架
? 具備可定制的邊緣智能AI跨邊云協(xié)同服務(wù),適用于企業(yè)/園區(qū)等特定場景的需求
? 自研跨邊云協(xié)同訓(xùn)練推理平臺(tái),普遍適用于工廠智能生產(chǎn),智能監(jiān)控等場景
? 典型工廠焊點(diǎn)檢測、安全帽識(shí)別和人臉識(shí)別等場景的跨云邊協(xié)同訓(xùn)練和協(xié)同推理的智能AI邊緣部署方案
本測試具有較好的復(fù)制推廣性。一方面以瑞斯康達(dá)測試床為基礎(chǔ),向柔性制造行業(yè)復(fù)制推廣,如網(wǎng)關(guān)制造、MEC設(shè)備制造等;另一方面,以焊點(diǎn)檢測場景實(shí)施為基礎(chǔ),向其他場景推廣,如產(chǎn)品質(zhì)量檢測、防靜電服檢測、人臉識(shí)別、安全帽識(shí)別等。
本測試床可開放給更多通訊提供商、運(yùn)營商和制造企業(yè)共同參與測試床驗(yàn)證與推廣工作。
歡迎所有的AII成員企業(yè)參與和使用本測試床項(xiàng)目。然而,在初始階段,由于試驗(yàn)站點(diǎn)的訪問權(quán)限有限,本測試床將僅限于現(xiàn)有的合作伙伴。之后,本測試床將逐步開放給更多AII成員企業(yè)使用。
中國電信與瑞斯康達(dá)科技發(fā)展股份有限公司共同對(duì)測試床的建設(shè)、運(yùn)營以及使用擁有產(chǎn)權(quán)。
測試床的部署和運(yùn)營將在瑞斯康達(dá)工廠進(jìn)行。現(xiàn)階段訪問控制和管理權(quán)限僅限于測試床參與企業(yè)。
測試床的資金將來自于測試床參與企業(yè)。
第1階段(2021.01-2021.03):完成測試床場景梳理、可行性評(píng)估、測試床架構(gòu)設(shè)計(jì)等工作。
第2階段(2021.01-2021.07):完成測試床實(shí)施方案設(shè)計(jì)、設(shè)備選型與環(huán)境建設(shè)、測試床平臺(tái)功能測試等工作。
第3階段(2021.08-2022.01):完成測試床部署、測試床典型應(yīng)用場景驗(yàn)證、輸出針對(duì)焊點(diǎn)檢測場景的實(shí)施方案等工作。
測試床當(dāng)前進(jìn)展:
1. 測試床輸出成果:
? 具備可定制的邊緣AI智能跨邊云協(xié)同服務(wù),適用于企業(yè)/園區(qū)等特定場景的需求
? 自研跨邊云協(xié)同訓(xùn)練和協(xié)同推理平臺(tái),普遍適用于工廠智能生產(chǎn),智能監(jiān)控等場景
? 典型工廠焊點(diǎn)檢測、安全帽識(shí)別和人臉口罩識(shí)別等場景的跨云邊協(xié)同訓(xùn)練推理的智能邊緣AI部署方案
2. 測試床地點(diǎn):瑞斯康達(dá)北京工廠
3. 參與者分工:
中國電信:基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床部署與驗(yàn)證
瑞斯康達(dá):提供智能工廠典型應(yīng)用場景環(huán)境,參與現(xiàn)場測試床驗(yàn)證
4. 部署方案:
5. 輸出PCB焊點(diǎn)檢測數(shù)據(jù)集
? 輸出標(biāo)記不同產(chǎn)線的PCB焊點(diǎn)檢測數(shù)據(jù)集一套,并開源發(fā)布到華為雅努斯,鏈接為https://github.com/kubeedge/ianvs
? 該開源數(shù)據(jù)集用于5G環(huán)境下,協(xié)同訓(xùn)練和推理平臺(tái)的測試驗(yàn)證。
? 本次pcb檢測共使用原始圖片集共有484張,其中80張作為測試集,訓(xùn)練集和測試集的比例為5比1,在使用水平翻轉(zhuǎn),豎直翻轉(zhuǎn),90度旋轉(zhuǎn),180度旋轉(zhuǎn),270度旋轉(zhuǎn)以及縮放后,圖片總集合為2904張。
6. PCB焊點(diǎn)檢測數(shù)據(jù)集下協(xié)同訓(xùn)練模型1套
? 輸出針對(duì)PCB焊點(diǎn)檢測數(shù)據(jù)集下, 增量學(xué)習(xí)模型代碼。
? 包括協(xié)同訓(xùn)練的難例檢測算法1套。
? 測試結(jié)果:
1)單機(jī)訓(xùn)練時(shí)間:
ü 硬件配置:CPU類型2路6230N(Intel Xeon Gold 6230N 20C 125W 2.3GHz處理器)4x10GEGPU:Tesla V100 32G
ü 2904張圖片訓(xùn)練時(shí)間:1609分
2)5G工廠生產(chǎn)環(huán)境4個(gè)邊緣節(jié)點(diǎn)云邊協(xié)同增量訓(xùn)練測試結(jié)果:
增量訓(xùn)練次數(shù) | 圖片數(shù)量 | 訓(xùn)練耗時(shí) |
1 | 126 | 47min |
2 | 178 | 64min |
3 | 123 | 47min |
4 | 199 | 59min |
3)單機(jī)測試推理結(jié)果:
坡度 | 翹腳 | |
測試目標(biāo)個(gè)數(shù) | 708 | 153 |
正確識(shí)別目標(biāo)個(gè)數(shù) | 623 | 133 |
準(zhǔn)確率 | 88.6% | 87.3% |
平均準(zhǔn)確率 | 87.95% |
4)5G工廠生產(chǎn)環(huán)境測試結(jié)果:
坡度 | 翹腳 | |
測試目標(biāo)個(gè)數(shù) | 396 | 284 |
正確識(shí)別目標(biāo)個(gè)數(shù) | 342 | 240 |
準(zhǔn)確率 | 86.5% | 84.8% |
平均準(zhǔn)確率 | 85.6% |
本報(bào)告所載的材料和信息,包括但不限于文本、圖片、數(shù)據(jù)、觀點(diǎn)、建議,不構(gòu)成法律建議,也不應(yīng)替代律師意見。本報(bào)告所有材料或內(nèi)容的知識(shí)產(chǎn)權(quán)歸工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟所有(注明是引自其他方的內(nèi)容除外),并受法律保護(hù)。如需轉(zhuǎn)載,需聯(lián)系本聯(lián)盟并獲得授權(quán)許可。未經(jīng)授權(quán)許可,任何人不得將報(bào)告的全部或部分內(nèi)容以發(fā)布、轉(zhuǎn)載、匯編、轉(zhuǎn)讓、出售等方式使用,不得將報(bào)告的全部或部分內(nèi)容通過網(wǎng)絡(luò)方式傳播,不得在任何公開場合使用報(bào)告內(nèi)相關(guān)描述及相關(guān)數(shù)據(jù)圖表。違反上述聲明者,本聯(lián)盟將追究其相關(guān)法律責(zé)任。