Activities
導(dǎo)讀：2025年5月25日，2025國家新質(zhì)生產(chǎn)力與智能產(chǎn)業(yè)發(fā)展會(huì)議暨2024年度中國自動(dòng)化學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)勵(lì)頒獎(jiǎng)儀式在北京隆重召開。本次大會(huì)以“向新而行·以質(zhì)致遠(yuǎn)”為主題，聚焦國家戰(zhàn)略需求，緊扣科技前沿，立足發(fā)展實(shí)踐，匯聚產(chǎn)學(xué)研用多方力量，打造了一場融合學(xué)術(shù)研討、產(chǎn)業(yè)前瞻與成果表彰的科技盛會(huì)。本次大會(huì)邀請歐洲科學(xué)院院士、中國自動(dòng)化學(xué)會(huì)副理事長、華南理工大學(xué)教授陳俊龍作題為“大小模型協(xié)同創(chuàng)新技術(shù)與應(yīng)用”的報(bào)告。報(bào)告結(jié)合當(dāng)前的大模型與小模型的研究現(xiàn)狀，分析了未來人工智能的大小模型混合發(fā)展對于未來產(chǎn)業(yè)發(fā)展的趨勢。
人工智能自1956年作為一門獨(dú)立學(xué)科提出以來，已在模型構(gòu)建與實(shí)際應(yīng)用方面取得了顯著進(jìn)展。其中，傳統(tǒng)人工智能應(yīng)用多基于決策型模型，強(qiáng)調(diào)通過對決策條件與干預(yù)變量分布的建模來實(shí)現(xiàn)有效的推理與控制。
一、AI技術(shù)的跨越式發(fā)展
近年來，生成式人工智能的發(fā)展尤為引人注目。特別是2014年提出的生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks, GANs）和2017年Transformer架構(gòu)的引入，被廣泛認(rèn)為是該領(lǐng)域的兩項(xiàng)里程碑式突破。GANs顯著提升了圖像等數(shù)據(jù)的生成能力，而Transformer則成為大規(guī)模語言建模與自然語言處理任務(wù)的核心基礎(chǔ)，推動(dòng)了以ChatGPT為代表的大語言模型（Large Language Models, LLMs）的快速發(fā)展。
在過去六至七年中，生成式模型不斷演進(jìn)，已從早期的圖像、音頻、視頻生成拓展至多模態(tài)融合與語言生成，并逐步實(shí)現(xiàn)跨模態(tài)的理解與創(chuàng)作能力。當(dāng)前，生成式人工智能正在成為推動(dòng)智能系統(tǒng)走向通用人工智能的關(guān)鍵路徑之一。
在人工智能的實(shí)際應(yīng)用中，決策層模型大致可歸納為三類：決策型模型、分析型模型，以及結(jié)合決策與分析功能的復(fù)合型模型。這些模型在諸多應(yīng)用場景中已取得廣泛成果，特別是在機(jī)器人技術(shù)中的具身智能領(lǐng)域，展現(xiàn)出極高的實(shí)用價(jià)值。許多市面上流行的智能產(chǎn)品，正是基于此類模型的成功實(shí)現(xiàn)。
其中，分析型與決策型模型的深度融合，已在多個(gè)高影響力的案例中得到驗(yàn)證，例如AlphaGo系統(tǒng)在圍棋對弈中的突破，便是此類模型協(xié)同工作的典范。這類智能系統(tǒng)的原理也被進(jìn)一步延伸至自然科學(xué)領(lǐng)域，在多個(gè)與諾貝爾獎(jiǎng)相關(guān)的科研成果中被成功應(yīng)用。
自2021年底生成式模型迅速崛起以來，學(xué)術(shù)界與產(chǎn)業(yè)界開始探索其與傳統(tǒng)決策模型的融合潛力。當(dāng)前的研究熱點(diǎn)之一，正是所謂的“大模型與小模型融合”問題，即如何將具備強(qiáng)表達(dá)與生成能力的大模型，與高效、精細(xì)、可控的小模型協(xié)同工作，從而實(shí)現(xiàn)更具實(shí)用性與通用性的人工智能系統(tǒng)。
二、DeepSeek出現(xiàn)的啟發(fā)
自2017年Transformer架構(gòu)提出以來，國內(nèi)外已涌現(xiàn)出多個(gè)成功的大模型應(yīng)用案例。2024年底和2025年初，我國DeepSeek模型的發(fā)布引起了全球廣泛關(guān)注。DeepSeek的成功之處在于其開源特性、廣泛應(yīng)用以及在參數(shù)優(yōu)化上的優(yōu)勢，尤其是在相較于國外模型的功能提升方面，表現(xiàn)出顯著優(yōu)勢。
DeepSeek的出現(xiàn)對國內(nèi)大模型發(fā)展具有重要啟示，尤其在“開源+高性價(jià)比+強(qiáng)推理能力”模式的實(shí)踐上，為國內(nèi)外大模型技術(shù)格局提供了寶貴的經(jīng)驗(yàn)。其創(chuàng)新之處在于無需依賴頂級GPU，通過多層次的算法、硬件和軟件創(chuàng)新，突破了傳統(tǒng)算力瓶頸，推動(dòng)了大模型的推理性能提升。DeepSeek的創(chuàng)新工作包括多Token預(yù)測與MoE多專家系統(tǒng)結(jié)構(gòu)的結(jié)合，展現(xiàn)了軟件與硬件協(xié)同的潛力，進(jìn)一步推動(dòng)了國產(chǎn)大模型的崛起。
在應(yīng)用層面，DeepSeek極大地激發(fā)了國內(nèi)算力生態(tài)的整合與優(yōu)化。其關(guān)鍵貢獻(xiàn)之一在于打破了芯片算力的依賴，提出了適應(yīng)中國特色的解決方案，并實(shí)現(xiàn)了傳統(tǒng)算力、算法和硬件的深度融合。通過這一創(chuàng)新路徑，DeepSeek突破了大模型計(jì)算的瓶頸，為全球范圍內(nèi)的大模型應(yīng)用提供了新的參考與方向。
隨著生成式模型的不斷發(fā)展，生成對抗網(wǎng)絡(luò)、圖像生成模型、視頻生成模型及大語言模型的融合已在各行業(yè)得到廣泛應(yīng)用。DeepSeek的出現(xiàn)，標(biāo)志著國產(chǎn)大模型在開源、推理能力及參數(shù)優(yōu)化方面的重要突破。目前，市面上已有許多可以下載并應(yīng)用的生成式模型，涵蓋圖像生成、視頻生成以及文件處理等多個(gè)領(lǐng)域，極大地促進(jìn)了科研和工業(yè)應(yīng)用的創(chuàng)新。
當(dāng)前，主流的大語言模型參數(shù)已達(dá)到數(shù)千億甚至數(shù)萬億級別，而DeepSeek則提出了縮減算力和參數(shù)需求的解決方案，將模型參數(shù)壓縮至幾千億規(guī)模。特別是DeepSeek推出的一體機(jī)，能夠容納6000多億參數(shù)，并結(jié)合前端推理工作，為科研人員提供了高效的計(jì)算支持。通過這種一體化方案，科研人員無需從頭開始開發(fā)大模型，即可利用通用的大模型進(jìn)行現(xiàn)場應(yīng)用與研究。
DeepSeek一體機(jī)根據(jù)應(yīng)用場景的不同，提供了兩類主要解決方案：一是面向通用場景的通用模型方案，二是針對特定行業(yè)需求的專業(yè)模型通道。無論是科研機(jī)構(gòu)還是工業(yè)企業(yè)，都能根據(jù)需求選擇合適的產(chǎn)品，價(jià)格區(qū)間從幾十萬到一兩百萬不等。對于科研人員而言，DeepSeek一體機(jī)不僅減少了開發(fā)工作量，還為大模型的實(shí)際應(yīng)用提供了便捷的技術(shù)支持，在工業(yè)研究與應(yīng)用場景中具有重要意義。
在垂直領(lǐng)域的應(yīng)用方面，尤其是自動(dòng)化行業(yè)，大模型與小模型的結(jié)合已成為行業(yè)應(yīng)用的重要趨勢。從去年的學(xué)會(huì)年會(huì)討論開始，AI for Science逐步演變?yōu)?/span>AI for Industry及AI for Engineering，推動(dòng)了人工智能技術(shù)在工業(yè)領(lǐng)域的深度應(yīng)用。大模型在工業(yè)中的應(yīng)用，尤其在智能制造領(lǐng)域的落地，成為了當(dāng)前的重要話題。具體而言，可以從以下三個(gè)方面探討大模型的應(yīng)用路徑：第一，工業(yè)軟件的智能化升級；第二，數(shù)控裝備與自動(dòng)化生產(chǎn)的優(yōu)化；第三，安全生產(chǎn)的智能監(jiān)測與預(yù)警。
在這些應(yīng)用中，來自中國、美國和德國的智能制造成功案例為行業(yè)發(fā)展提供了寶貴經(jīng)驗(yàn)。這些案例表明，通過將大模型與行業(yè)知識結(jié)合，能夠有效提升制造業(yè)的自動(dòng)化水平和智能化程度，為行業(yè)帶來全新的技術(shù)變革。
三、大模型落地制造業(yè)的可能路徑及應(yīng)用
在工業(yè)軟件應(yīng)用方面，大模型的引入促進(jìn)了多個(gè)領(lǐng)域的自動(dòng)化和智能化轉(zhuǎn)型。例如，借助大模型生成EAD（工程自動(dòng)化設(shè)計(jì)）軟件、ERP（企業(yè)資源規(guī)劃）軟件和CRM（客戶關(guān)系管理）軟件等，已經(jīng)成為工業(yè)領(lǐng)域的一項(xiàng)重要發(fā)展。在自動(dòng)化生產(chǎn)的代碼生成方面，特別是在自動(dòng)控制系統(tǒng)的自動(dòng)化生成上，國內(nèi)外廠商都推出了相應(yīng)的產(chǎn)品。通過這種技術(shù)轉(zhuǎn)變，工業(yè)系統(tǒng)逐步從傳統(tǒng)的基于控制的模式轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的決策型范式。
此外，在工業(yè)人工智能應(yīng)用場景中，AI的作用愈加顯著。例如，AI在生產(chǎn)運(yùn)營中的應(yīng)用主要體現(xiàn)在異常診斷和經(jīng)濟(jì)運(yùn)行診斷方面。AI通過智能檢測和運(yùn)維，能夠有效預(yù)測設(shè)備故障、進(jìn)行設(shè)備性能評估，并在生產(chǎn)過程中識別智能違章行為，甚至進(jìn)行能耗優(yōu)化。此類技術(shù)應(yīng)用的廣泛展開，推動(dòng)了工業(yè)領(lǐng)域的智能化和自動(dòng)化升級。
在這一背景下，大模型的生成式功能也迎來了新的應(yīng)用方向，在文生文、文生圖等傳統(tǒng)生成模式之外，工業(yè)界近年來正致力于開發(fā)“文生動(dòng)作”的技術(shù)。AI Agent或智能體通過大模型支持，能夠?qū)崿F(xiàn)從文本描述生成動(dòng)作。例如，用戶通過輸入任務(wù)或行動(dòng)指令，AI Agent不僅能夠進(jìn)行問答式的交互，還能通過推理過程進(jìn)行綜合規(guī)劃和執(zhí)行任務(wù)，如將多項(xiàng)服務(wù)一鍵整合并自動(dòng)執(zhí)行。這樣的功能大大簡化了用戶的操作需求，并推動(dòng)了大模型在工業(yè)、商業(yè)及服務(wù)領(lǐng)域的深度應(yīng)用。
在當(dāng)前的人工智能系統(tǒng)構(gòu)建中，多模型融合，特別是大模型與小模型的協(xié)同機(jī)制，逐漸成為推動(dòng)復(fù)雜任務(wù)智能化處理的重要方向。這種融合不僅是模型能力的組合，更是功能層級分工的體現(xiàn)。大模型具備強(qiáng)大的語義理解、推理與任務(wù)生成能力，小模型則因其高效、輕量的特性，適合在邊緣設(shè)備上承擔(dān)感知、執(zhí)行等具體任務(wù)。在實(shí)際應(yīng)用中，這種融合模式主要體現(xiàn)為若干典型結(jié)構(gòu)的組合演化。小模型通常用于前端感知任務(wù)，如視覺識別、聲音檢測與物理狀態(tài)感知，其在速度與資源消耗方面具備天然優(yōu)勢，而復(fù)雜的語義理解與任務(wù)規(guī)劃則由大模型承擔(dān)。通過這種前感知、后理解的模式，系統(tǒng)能夠?qū)崿F(xiàn)感知—認(rèn)知的有效銜接。
另一種常見的模式是以大模型作為任務(wù)的認(rèn)知中樞，通過自然語言理解能力對用戶提出的復(fù)雜問題進(jìn)行分解與規(guī)劃，再將子任務(wù)分發(fā)至多個(gè)小模型并行執(zhí)行。這種“理解—分發(fā)”的結(jié)構(gòu)在工業(yè)調(diào)度、政務(wù)系統(tǒng)以及流程管理等場景中展現(xiàn)出強(qiáng)大的任務(wù)組織能力。此外，大模型也可作為任務(wù)生成器使用，在語義驅(qū)動(dòng)下輸出具體操作指令或控制邏輯，再由小模型對生成內(nèi)容進(jìn)行本地化適配與執(zhí)行，從而形成“生成—執(zhí)行”的閉環(huán)機(jī)制。
在此基礎(chǔ)上，進(jìn)一步發(fā)展出的AI Agent系統(tǒng)融合了上述多種功能路徑。Agent前端以小模型為主實(shí)現(xiàn)對環(huán)境的實(shí)時(shí)感知，中間以大模型為核心完成復(fù)雜認(rèn)知與策略生成，后端再由小模型或?qū)Ｓ媚K完成具體動(dòng)作的落地執(zhí)行。這種“感知—理解—生成—執(zhí)行”的全鏈路架構(gòu)構(gòu)成了具備端到端能力的智能體系統(tǒng)。在系統(tǒng)設(shè)計(jì)中，這類Agent被模塊化為統(tǒng)一的“智能中樞”，能夠從語言、圖像、視頻等多模態(tài)輸入中自動(dòng)識別意圖并規(guī)劃任務(wù)，進(jìn)而調(diào)用或調(diào)度多個(gè)模型資源完成響應(yīng)。多個(gè)智能體可以串聯(lián)或并聯(lián)部署，從而構(gòu)建起多智能體協(xié)同系統(tǒng)，實(shí)現(xiàn)多任務(wù)處理、資源動(dòng)態(tài)調(diào)配與并發(fā)控制。
在工業(yè)應(yīng)用中，多智能體協(xié)同系統(tǒng)已經(jīng)展現(xiàn)出可觀的實(shí)踐效果。以Manus公司為例，其智能體系統(tǒng)能夠完成如旅游規(guī)劃、供應(yīng)鏈管理等復(fù)雜任務(wù)；而大灣區(qū)的“智用開物”平臺，則將多智能體應(yīng)用于政務(wù)系統(tǒng)，通過調(diào)度大模型進(jìn)行智能解析，繼而由小模型模塊完成合同審核、法務(wù)事務(wù)處理等任務(wù)。類似地，“郎坤”平臺構(gòu)建了面向智能制造的中臺系統(tǒng)，通過集成模型分析、故障診斷與運(yùn)維決策等多個(gè)智能體，構(gòu)建起完整的工業(yè)智能生態(tài)鏈，實(shí)現(xiàn)了故障預(yù)測、任務(wù)優(yōu)化與智能調(diào)度等關(guān)鍵能力的落地。
這種以多模型協(xié)同為基礎(chǔ)的智能體系統(tǒng)，其架構(gòu)理念與傳統(tǒng)控制理論中的多智能體協(xié)同算法具有高度一致性。在控制理論中，智能體之間通過分布式協(xié)同策略實(shí)現(xiàn)對目標(biāo)狀態(tài)的同步到達(dá)，這一機(jī)制為AI Agent系統(tǒng)中的智能體任務(wù)協(xié)同與調(diào)度提供了理論基礎(chǔ)。未來的研究可進(jìn)一步探索如何將這些經(jīng)典控制算法與大模型驅(qū)動(dòng)的認(rèn)知智能體相結(jié)合，實(shí)現(xiàn)更高效、更穩(wěn)定的系統(tǒng)級智能協(xié)作。在面向智能制造、智慧政務(wù)與復(fù)雜系統(tǒng)決策等領(lǐng)域，這一方向有望成為推動(dòng)下一代人工智能系統(tǒng)能力躍升的關(guān)鍵路徑。
四、大模型蒸餾
當(dāng)前，針對智能體的開發(fā)與應(yīng)用興趣日益高漲，尤其在大模型驅(qū)動(dòng)的多智能體系統(tǒng)構(gòu)建方面，已經(jīng)涌現(xiàn)出一系列成熟的軟件開發(fā)平臺與工具鏈，極大地降低了系統(tǒng)構(gòu)建的門檻。國內(nèi)外眾多大模型與軟件廠商，紛紛提供了便捷的智能體構(gòu)建環(huán)境。例如，字節(jié)跳動(dòng)、騰訊元寶、百度、谷歌以及清華智譜的清言平臺等，均推出了支持多智能體架構(gòu)的軟件開發(fā)包，開發(fā)者可以直接調(diào)用其內(nèi)置的大模型與功能模塊，構(gòu)建滿足具體需求的智能體系統(tǒng)。這類平臺通常支持模塊化開發(fā)和插件式部署，開發(fā)者無需從零開始，即可實(shí)現(xiàn)智能體的快速搭建與迭代驗(yàn)證。
與此同時(shí)，另一種重要的發(fā)展方向是基于大模型的知識蒸餾與模型壓縮技術(shù)，將龐大的預(yù)訓(xùn)練模型轉(zhuǎn)化為可部署于邊緣設(shè)備的小模型，從而實(shí)現(xiàn)資源受限環(huán)境下的高效推理與響應(yīng)。在這一過程中，預(yù)訓(xùn)練的大模型如GPT系列、DeepSeek模型等，作為知識源，通過蒸餾技術(shù)提取其語義、決策與推理能力，并遷移至結(jié)構(gòu)更為緊湊的小模型中。這些小模型通常具備千萬級參數(shù)規(guī)模，相較原始的大模型在計(jì)算資源、存儲(chǔ)與延遲方面大幅縮減，適用于客戶端、邊緣端以及嵌入式設(shè)備中部署。
該蒸餾過程不僅能保留大模型的核心認(rèn)知能力，還能結(jié)合目標(biāo)應(yīng)用場景的特定數(shù)據(jù)進(jìn)行再訓(xùn)練，以增強(qiáng)在下游任務(wù)中的泛化與適應(yīng)能力。這種“云—邊協(xié)同”模式，即在云端保留大規(guī)模通用模型用于統(tǒng)一訓(xùn)練和知識沉淀，通過知識蒸餾下沉出多種邊緣小模型，在本地實(shí)現(xiàn)低時(shí)延、低成本、強(qiáng)定制化的智能響應(yīng)。該結(jié)構(gòu)的優(yōu)點(diǎn)在于不依賴高算力設(shè)備，系統(tǒng)對資源、環(huán)境與數(shù)據(jù)的依賴顯著降低，可支持智能體在工業(yè)現(xiàn)場、移動(dòng)設(shè)備、智能制造、智慧城市等多種實(shí)際場景中部署，成為下一階段智能系統(tǒng)大規(guī)模落地的關(guān)鍵技術(shù)路徑。
在當(dāng)前人工智能技術(shù)的實(shí)際應(yīng)用中，大模型具備強(qiáng)大的通用認(rèn)知與推理能力，但其高昂的計(jì)算資源需求與部署成本，使其難以直接在資源受限的場景中大規(guī)模應(yīng)用。為此，“知識蒸餾”技術(shù)成為連接大模型與輕量級小模型之間的重要橋梁。其核心思想是將訓(xùn)練良好的大模型作為“教師模型”，通過引導(dǎo)訓(xùn)練另一個(gè)結(jié)構(gòu)更小的“學(xué)生模型”，使其在保持關(guān)鍵性能指標(biāo)的同時(shí)，大幅降低參數(shù)量與計(jì)算開銷，從而適用于移動(dòng)端、邊緣端或?qū)Ｓ迷O(shè)備的本地部署。
蒸餾過程不僅僅是簡單的模型壓縮，更包含了從大模型中提取通用知識、構(gòu)建遷移機(jī)制、設(shè)計(jì)反饋結(jié)構(gòu)等系統(tǒng)性工程。在技術(shù)路徑上，知識蒸餾可分為三類主要形式：離線蒸餾、在線蒸餾與自蒸餾。離線蒸餾中，教師模型預(yù)先完成訓(xùn)練，然后將其輸出作為訓(xùn)練數(shù)據(jù)提供給學(xué)生模型；在線蒸餾則在教師與學(xué)生模型并行訓(xùn)練過程中不斷交換信息；而自蒸餾則不依賴單獨(dú)的教師模型，而是由模型自身在不同階段提取與傳遞知識。這些方法均可支持不同場景下對推理效率、模型輕量化與應(yīng)用適應(yīng)性的平衡優(yōu)化。
從應(yīng)用角度來看，蒸餾技術(shù)可以大幅提升模型在特定垂直領(lǐng)域的專用性。原始大模型具備廣義推理能力，但對于特定專業(yè)場景如智能制造、無人系統(tǒng)、化工過程、物聯(lián)網(wǎng)等，其推理精度與泛化能力往往不足。通過蒸餾過程，通用模型中的基礎(chǔ)認(rèn)知能力得以遷移與細(xì)化，使學(xué)生模型更貼合目標(biāo)任務(wù)。例如在無人機(jī)控制系統(tǒng)中，可將通用大模型通過中間層特征提取與壓縮，分別蒸餾出處理力學(xué)建模、圖像識別與網(wǎng)絡(luò)通信的小模型，部署至邊緣端設(shè)備上，進(jìn)而實(shí)現(xiàn)高效、低時(shí)延的任務(wù)執(zhí)行。在智能制造領(lǐng)域，同樣可通過大模型蒸餾提取面向工藝優(yōu)化、產(chǎn)線控制與故障診斷的特化模型，滿足工業(yè)現(xiàn)場對實(shí)時(shí)性與可靠性的高度要求。
進(jìn)一步細(xì)化來看，蒸餾技術(shù)包括多個(gè)關(guān)鍵技術(shù)環(huán)節(jié)。其中，數(shù)據(jù)驅(qū)動(dòng)蒸餾是通過策劃高信息密度的數(shù)據(jù)樣本集，經(jīng)過清洗與增強(qiáng)處理，指導(dǎo)學(xué)生模型更有效地學(xué)習(xí)知識表達(dá)；特征層蒸餾則關(guān)注于大模型中間層的特征表示，將其遷移至學(xué)生模型以提升其抽象能力；而反饋驅(qū)動(dòng)蒸餾則結(jié)合強(qiáng)化學(xué)習(xí)機(jī)制，引入獎(jiǎng)勵(lì)信號與反饋控制，從而提升模型訓(xùn)練的動(dòng)態(tài)適應(yīng)性。這三類技術(shù)分別針對模型效率、特征表達(dá)與誤報(bào)控制等不同方向進(jìn)行優(yōu)化，具有明確的應(yīng)用優(yōu)勢。
在理論層面，KL散度等信息熵度量方法常被用于衡量教師模型輸出與學(xué)生模型預(yù)測之間的差異，作為優(yōu)化目標(biāo)函數(shù)指導(dǎo)學(xué)生模型收斂。此外，近年來也有研究引入時(shí)序?qū)R、多模態(tài)交叉蒸餾等機(jī)制，使知識蒸餾更加細(xì)粒度、結(jié)構(gòu)化。例如在多模態(tài)大模型中，通過將圖像、語言、動(dòng)作等不同模態(tài)特征壓縮進(jìn)多學(xué)生模型，實(shí)現(xiàn)復(fù)雜場景下的跨模態(tài)遷移推理。
從全局角度看，知識蒸餾不僅是提升模型部署效率的工程技術(shù)，更是打通“通用智能”與“垂直應(yīng)用”之間的關(guān)鍵橋梁。通過在云端構(gòu)建通用大模型、在本地部署蒸餾小模型的“云-邊協(xié)同”機(jī)制，可以實(shí)現(xiàn)在保持通用性優(yōu)勢的同時(shí)，大幅提升系統(tǒng)的專用性、實(shí)時(shí)性與可部署性。蒸餾所帶來的輕量化模型已在多個(gè)行業(yè)展現(xiàn)出廣泛前景，成為推動(dòng)人工智能從實(shí)驗(yàn)室走向現(xiàn)實(shí)世界的關(guān)鍵技術(shù)路徑。
五、大小模型協(xié)同技術(shù)產(chǎn)業(yè)化應(yīng)用
近年來，情智一體化與情感計(jì)算機(jī)器人認(rèn)知成為人工智能領(lǐng)域的重要研究方向。通用大模型在情感理解、營銷和醫(yī)療等多個(gè)領(lǐng)域展現(xiàn)了顯著的應(yīng)用潛力，特別是在睡眠監(jiān)測和心理評估等健康相關(guān)場景中，已逐步實(shí)現(xiàn)實(shí)際應(yīng)用。
針對大模型計(jì)算資源需求高且難以直接部署于邊緣端的難題，我們提出了分階段的模型蒸餾策略。通過知識蒸餾，將大模型先壓縮為中大型模型，再進(jìn)一步蒸餾為小型模型，實(shí)現(xiàn)了在邊緣端的高效運(yùn)行。邊緣端計(jì)算資源有限，但利用寬度學(xué)習(xí)方法，特別適合實(shí)時(shí)處理數(shù)據(jù)的增量學(xué)習(xí)及快速同化，自2018年以來，該技術(shù)經(jīng)過多年優(yōu)化，已被國內(nèi)多家高校采納，有效提升了模型對新增數(shù)據(jù)的快速響應(yīng)能力。
相較于整體模型更新，寬度學(xué)習(xí)主要針對特征提取層進(jìn)行局部快速調(diào)整，從而實(shí)現(xiàn)對少量新增數(shù)據(jù)的高效適應(yīng)。此外，結(jié)合檢索增強(qiáng)生成技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)層面與模型層面的快速增量更新，進(jìn)一步強(qiáng)化了邊緣端模型的動(dòng)態(tài)學(xué)習(xí)能力。
基于該框架，我們在多個(gè)應(yīng)用領(lǐng)域取得了突破。在數(shù)據(jù)標(biāo)注方面，利用半監(jiān)督寬度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了對百萬乃至千萬級數(shù)據(jù)的自動(dòng)標(biāo)注，極大地減輕了人工標(biāo)注的負(fù)擔(dān)。在機(jī)器人控制領(lǐng)域，增量學(xué)習(xí)使機(jī)械臂能夠快速適應(yīng)環(huán)境變化，實(shí)現(xiàn)精準(zhǔn)的動(dòng)作預(yù)測與調(diào)整。在飛行器應(yīng)用中，邊緣端算法支持快速軌跡預(yù)測與意圖推理，能夠在輕量級算力下實(shí)現(xiàn)實(shí)時(shí)推斷，并在對抗行為分析等復(fù)雜場景中展現(xiàn)出良好的性能。
在增量學(xué)習(xí)算法創(chuàng)新方面，我們率先提出了邊緣端無逆權(quán)重計(jì)算范式，支持?jǐn)?shù)據(jù)和節(jié)點(diǎn)的雙重增量優(yōu)化，有效提升了分布式計(jì)算的效率。沈勁網(wǎng)絡(luò)架構(gòu)通過動(dòng)態(tài)疊加單層寬度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的靈活擴(kuò)展，能夠適應(yīng)不同復(fù)雜度的建模需求。該寬度學(xué)習(xí)架構(gòu)逐步融合進(jìn)聯(lián)邦學(xué)習(xí)框架，取代傳統(tǒng)深度網(wǎng)絡(luò)模型，實(shí)現(xiàn)了分布式訓(xùn)練的高效性與彈性，支持客戶端節(jié)點(diǎn)的動(dòng)態(tài)擴(kuò)展和服務(wù)器的快速擴(kuò)容。
在大健康領(lǐng)域，我們基于上述技術(shù)體系，構(gòu)建了從大模型壓縮至基礎(chǔ)健康模型、再到邊緣端模型的多級架構(gòu)，成功應(yīng)用于情緒識別和醫(yī)療診斷等場景。未來，計(jì)劃推進(jìn)健康感知智能與數(shù)字平行人技術(shù)的深度融合，構(gòu)建真實(shí)人與數(shù)字人全生命周期交互的智能平臺。通過腦機(jī)接口等前沿技術(shù)，實(shí)現(xiàn)數(shù)字人之間及數(shù)字人與真人的高效智能交互，突破傳統(tǒng)數(shù)字人在認(rèn)知與交互上的局限。此外，我們還積極開展人工智能科普工作，相關(guān)科普叢書已被翻譯成四國語言，廣泛應(yīng)用于包括阿拉伯國家和美國在內(nèi)的國際市場，推動(dòng)人工智能技術(shù)的普及與應(yīng)用。
*本文根據(jù)作者所作報(bào)告速記整理而成
嘉賓簡介：
陳俊龍教授（C. L. Philip Chen），華南理工大學(xué)特聘講席教授、博士生導(dǎo)師、計(jì)算機(jī)科學(xué)與工程學(xué)院院長，教育部健康智能與數(shù)字平行人工程中心主任，廣東省人工智能產(chǎn)業(yè)協(xié)會(huì)聯(lián)席會(huì)長。他是IEEE Life Fellow、AAAS Fellow、IAPR Fellow、歐洲科學(xué)院院士（Academia Europaea）、歐洲科學(xué)與藝術(shù)院院士、俄羅斯工程院外籍院士、中國自動(dòng)化學(xué)會(huì)(CAA) 、中國人工智能學(xué)會(huì)（CAAI）及香港工程師學(xué)會(huì) (HKIE) Fellow。目前陳教授任中國自動(dòng)化學(xué)會(huì)常務(wù)理事，曾任兩個(gè)IEEE 頂級期刊主編，獲IEEE 諾伯特·維納獎(jiǎng)、IEEE約瑟夫·沃爾終身成就獎(jiǎng)、吳文俊人工智能領(lǐng)域杰出貢獻(xiàn)獎(jiǎng)、美國普渡大學(xué)杰出電機(jī)計(jì)算機(jī)杰出校友獎(jiǎng)等榮譽(yù)。連續(xù)6年被列為全球高被引科學(xué)家，斯坦福大學(xué)發(fā)布的全球前2%頂尖科學(xué)家榜單。在高排名學(xué)者（Highly Ranked Scholars? ) 計(jì)算機(jī)類（Computer Science）近五年的影響力全國排名中名列第一，位列全球第8名。
陳教授主要從事計(jì)算智能系統(tǒng)，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)，信息和視頻索引、控制論和無人系統(tǒng)的研究。他圍繞智能系統(tǒng)與控制、計(jì)算智能、數(shù)據(jù)科學(xué)等科研方向開展研究工作超過40年，在該領(lǐng)域取得一系列學(xué)術(shù)創(chuàng)新性成果。他曾獲中國自動(dòng)化學(xué)會(huì)自然科學(xué)獎(jiǎng)及廣東省科技進(jìn)步獎(jiǎng)一等獎(jiǎng)。
