大模型時(shí)代智慧家庭應(yīng)用新范式（2024年）

家庭大腦白皮書(shū)(2024年)數(shù)字家庭網(wǎng)絡(luò)國(guó)家工程研究中心青島科技大學(xué)喜馬拉雅vivO+36O視覺(jué)云曲宗峰朱文印李永華鄧邱偉田云龍張少君王海坤王平輝喻建琦杜永杰、趙培、王杰、張國(guó)軍、張海東、白雪冰、孫浩、高大群、李大起、黃子杰、劉新平、馬曉然、蘇明月、穆建廣、周華、何勝利、王曉、郝德峰、王偉偉、劉復(fù)鑫、曹敏峰、湯蘇東、馬杰、尹飛、張旭、王淼、趙乾、張文濤、牛麗、趙辰、竇方正海爾智家、中國(guó)家用電器研究院、數(shù)字家庭網(wǎng)絡(luò)國(guó)家工程研究中心、國(guó)家高端智能化家用電器創(chuàng)新中心、中國(guó)質(zhì)量認(rèn)證中心、西安交通大學(xué)、北京郵電大學(xué)、青島科技大學(xué)、微軟(中國(guó))有限公司、科大訊飛股份有限公司、維沃移動(dòng)通信有限公司、深圳和而泰智能控制股份有限公司、上海喜馬拉雅科技有限公司、北京在當(dāng)前數(shù)字經(jīng)濟(jì)浪潮下，以生成式人工智能(ArtificialIntelligenceGeneratedContent,AIGC)為代表的通用人工智能(ArtificialGeneralIntelligence,AGI)技術(shù)正在激發(fā)全球范圍內(nèi)的科技革命和產(chǎn)業(yè)變革。大模型實(shí)現(xiàn)了認(rèn)知智能的技術(shù)躍遷，其帶來(lái)的能力提升和智慧涌現(xiàn)正在向眾多垂直領(lǐng)域擴(kuò)散，更是為智慧家庭行業(yè)帶來(lái)了重要的發(fā)展契機(jī)。盡管通用大模型作為技術(shù)基礎(chǔ)在多個(gè)領(lǐng)域表現(xiàn)優(yōu)異，但由于缺乏專業(yè)知識(shí)與行業(yè)數(shù)據(jù)，現(xiàn)有通用大模型并不能精準(zhǔn)解決某個(gè)行業(yè)或企業(yè)的特定需求和問(wèn)題，因此很難直接應(yīng)用于特定行業(yè)領(lǐng)域。為此，結(jié)合大模型的通用能力和行業(yè)的個(gè)性化需求，構(gòu)建高精準(zhǔn)、高可靠的垂域大模型成為必然選擇。通過(guò)行業(yè)知識(shí)的積累和專業(yè)人員的不斷精調(diào)，垂域大模型朝著“專業(yè)、精細(xì)”方向發(fā)展，為特定場(chǎng)景提供更精確、更具業(yè)務(wù)價(jià)值的服務(wù)，加速行業(yè)智能化轉(zhuǎn)型升級(jí)。通用大模型與行業(yè)垂域大模型交替演進(jìn)的方式可以有效平衡大模型訓(xùn)練投入成本和邊際效益。在智慧家庭行業(yè)，以HomeGPT為代表的智慧家庭垂域大模型，已經(jīng)率先探索實(shí)踐，推動(dòng)了整個(gè)行業(yè)的發(fā)展。HomeGPT不僅繼承了通用大模型的自然語(yǔ)言處理、文字處理、圖像處理等基礎(chǔ)能力，還進(jìn)一步研發(fā)了深度語(yǔ)義理解技術(shù)，進(jìn)行了億級(jí)家庭知識(shí)增強(qiáng)訓(xùn)練，并開(kāi)發(fā)了行業(yè)首個(gè)場(chǎng)景生成引擎。智慧家庭垂域大模型，強(qiáng)調(diào)與硬件產(chǎn)品的結(jié)合和場(chǎng)景的聯(lián)動(dòng)，使場(chǎng)景定制和智慧家庭應(yīng)用更加智能、普及，開(kāi)啟了智慧家庭Al應(yīng)用的新時(shí)代。未來(lái)，隨著Al垂域大模型的落地，將帶來(lái)智能化生產(chǎn)力的重構(gòu)，推動(dòng)智慧家庭行業(yè)在新賽道上創(chuàng)新與升級(jí)，為消費(fèi)者提供更智能、便捷、個(gè)性化的產(chǎn)品和服務(wù)。子梅宏，甲辰孟春于北京海爾智家大腦的愿景是：讓冰冷的“House”成為溫馨舒適的“Home”,讓家變得更智慧、更溫馨，時(shí)刻主動(dòng)關(guān)懷各家庭成員的不同需求，使房子從“越住越老”進(jìn)化為“越住越聰明”。海爾智家給家裝上一顆大腦，讓體驗(yàn)更有深度。滿足的不是單一局部需求，而是復(fù)雜場(chǎng)景的多任務(wù)需求；不是實(shí)現(xiàn)單個(gè)產(chǎn)品的功能，而是實(shí)現(xiàn)產(chǎn)品之間跨空間、跨系統(tǒng)、跨設(shè)備的聯(lián)動(dòng)交互。通過(guò)跨知識(shí)領(lǐng)域智能決策，在衣食住娛各個(gè)領(lǐng)域打造更豐富、更有深度的場(chǎng)景體驗(yàn)，讓智慧生活的感受大有不同?；仡櫼酝?，海爾智家大腦與行業(yè)各領(lǐng)域?qū)＜?、學(xué)者共同探討技術(shù)的發(fā)展與應(yīng)用。2022年發(fā)布的《家庭大腦白皮書(shū)》1.0,為智慧家庭技術(shù)構(gòu)建和生態(tài)平臺(tái)的搭建提供方向；2023年發(fā)布的《家庭大腦白皮書(shū)》2.0,為智慧家庭空間計(jì)算以及大模型與智慧家庭交互的應(yīng)用提供方向。我們希望可以與行業(yè)一起攜手，持續(xù)推動(dòng)智慧家庭行業(yè)的能力建設(shè)與探索，推進(jìn)行業(yè)健康、快速、可持續(xù)地發(fā)展。2023年以來(lái)，智慧家庭見(jiàn)證了Al和大模型技術(shù)的巨大突破，技術(shù)和應(yīng)用的進(jìn)步為行業(yè)帶來(lái)了新的發(fā)展動(dòng)力。在大模型技術(shù)落地應(yīng)用到智慧家庭體驗(yàn)方面，海爾智家進(jìn)行了從“0到1”的探索與實(shí)踐。HaierHomeGPT,率先將大模型能力落地應(yīng)用于智慧家庭，通過(guò)獨(dú)有的深度語(yǔ)義理解技術(shù)、億級(jí)家庭知識(shí)增強(qiáng)、行業(yè)首個(gè)場(chǎng)景生成引擎三大技術(shù)優(yōu)勢(shì)，全面推動(dòng)了行業(yè)交互體驗(yàn)、智慧場(chǎng)景能力、生活服務(wù)能力全面進(jìn)為推動(dòng)智慧生活品質(zhì)持續(xù)升級(jí)，海爾智家聯(lián)合中國(guó)家用電器研究院、數(shù)字家庭網(wǎng)絡(luò)國(guó)家工程研究中心、國(guó)創(chuàng)中心、中國(guó)質(zhì)量認(rèn)證中心、西安交通大學(xué)、北京郵電大學(xué)、青島科技大學(xué)、微軟中國(guó)、科大訊飛、和而泰、喜馬拉雅、vivo、360視覺(jué)云等行業(yè)優(yōu)秀高校、單位、企業(yè)共同撰寫《家庭大腦白皮書(shū)(2024)》,旨在通過(guò)解析大模型時(shí)代下智慧家庭行業(yè)發(fā)展趨勢(shì)、技術(shù)路線、場(chǎng)景創(chuàng)新，搭建開(kāi)放生態(tài)，為智慧家庭服務(wù)企業(yè)的創(chuàng)新發(fā)展提供新范式。海爾智家副總裁全屋智慧總經(jīng)理1.趨勢(shì)篇：大模型推動(dòng)智慧家庭產(chǎn)業(yè)快速進(jìn)入“L4主動(dòng)智能”發(fā)展階段 11.1.大語(yǔ)言模型開(kāi)啟智慧家庭AI應(yīng)用的全新時(shí)代 2 4 6 91.5.垂域大模型引領(lǐng)智慧家庭進(jìn)入L4 2.技術(shù)篇：AGI在智慧家庭領(lǐng)域的探索實(shí)踐 2.1.構(gòu)建垂域大模型的關(guān)鍵能力 2.3.家庭大腦與大模型思維鏈 262.4.多模態(tài)聯(lián)合推理與決策 292.5.Al技術(shù)下內(nèi)容的安全與合規(guī) 2.6.大模型時(shí)代的Al倫理 2.7.國(guó)際性法律法規(guī) 2.8.智慧家庭垂域大模型探索實(shí)踐 3.應(yīng)用篇：HomeGPT賦能交互、服務(wù)與場(chǎng)景的全面升級(jí) 3.1.交互的升級(jí) 423.2.服務(wù)的升級(jí) 4.展望篇：AGI促進(jìn)智慧家庭全面發(fā)展 結(jié)語(yǔ) 56——功能方面，全面實(shí)現(xiàn)了設(shè)備之間的協(xié)同和聯(lián)動(dòng)，形成了更加豐富和復(fù)雜的智能場(chǎng)景。特別是，這些智能場(chǎng)景不僅能夠根據(jù)用戶的預(yù)設(shè)條件和指令自動(dòng)觸發(fā)，還能夠根據(jù)用戶的環(huán)境、行為、情I1.1.大語(yǔ)言模型開(kāi)啟智慧家庭AI應(yīng)用的全新時(shí)代>大語(yǔ)言模型加速智慧家庭產(chǎn)業(yè)發(fā)展根據(jù)Statista的統(tǒng)計(jì)，2023年全球智慧家庭智能家居市場(chǎng)已經(jīng)突破1000億美元，預(yù)計(jì)2024年將達(dá)到1600億美元，2026年將達(dá)到2,078億美元。從發(fā)展趨勢(shì)來(lái)看，智慧家庭產(chǎn)業(yè)發(fā)展空間廣闊。圖1全球智慧家庭市場(chǎng)發(fā)展趨勢(shì)(單位：億美元)ChatGPT的問(wèn)世，掀起了生成式人工智能的AI浪潮，隨著知識(shí)“涌現(xiàn)”現(xiàn)象的出現(xiàn)，國(guó)際、國(guó)內(nèi)出現(xiàn)了非常多的大語(yǔ)言模型(LargeLanguageModel,LLM),包括ChatGPT、文心一言、星火等眾多大模型，以LLM為代表的Al技術(shù)也正在加速智慧家庭產(chǎn)品和場(chǎng)景的變革和創(chuàng)新。這些場(chǎng)景的成功落地，不僅在為用戶創(chuàng)造更健康、安全、舒適、便捷、低碳的個(gè)性化家庭生活環(huán)進(jìn)一步提高了全球范圍內(nèi)的智慧家庭滲透率，加速了整個(gè)行業(yè)的發(fā)展。據(jù)IDC一項(xiàng)針對(duì)全球企業(yè)的生成式人工智能調(diào)研結(jié)果顯示，知識(shí)管理場(chǎng)景是AIGC現(xiàn)在最受組織青睞的應(yīng)用中國(guó)美國(guó)4.9%圖2最有希望被企業(yè)采用的AIGC應(yīng)用場(chǎng)景有效應(yīng)用。借助海爾近40年的高質(zhì)量領(lǐng)域多模態(tài)知識(shí)積累，——數(shù)據(jù)來(lái)源分散：智慧家庭的數(shù)據(jù)來(lái)源涵蓋范圍廣，不僅涉及衣、食、住、行、娛樂(lè)、健康等領(lǐng)域，還包括電商平臺(tái)、醫(yī)學(xué)網(wǎng)站、娛樂(lè)新聞、旅游網(wǎng)站、百科，以及高價(jià)值的企業(yè)數(shù)據(jù)和開(kāi)放知識(shí)(如Con-ceptNet、WordNet)據(jù)，還包括半結(jié)構(gòu)化的用戶畫像、客服工單、電商評(píng)論等，以及非結(jié)構(gòu)化的家用電器使用裝結(jié)構(gòu)圖(圖片類)、功能說(shuō)明文本(文字類)、表格(圖表類)等信息。——質(zhì)量參差不齊：智慧家庭領(lǐng)域在數(shù)據(jù)質(zhì)量方面普遍存在一定的問(wèn)題，例如：家庭產(chǎn)品、用戶行為、社區(qū)服務(wù)、政務(wù)服務(wù)等多個(gè)行業(yè)、領(lǐng)域、層次的數(shù)據(jù)，普遍存在包括數(shù)據(jù)噪聲、數(shù)據(jù)缺失、數(shù)據(jù)不平衡、任據(jù)積累碎片化；另外，智慧家庭應(yīng)用交互能力參差不齊，設(shè)備、用戶、客服等各類數(shù)據(jù)管控不一造成了數(shù)據(jù)的無(wú)在智慧家庭領(lǐng)域，行業(yè)的碎片化問(wèn)題是一個(gè)不容小覷的挑戰(zhàn)。碎片化問(wèn)題主要體現(xiàn)在四個(gè)方面，即數(shù)據(jù)碎片化、功能碎片化、應(yīng)用場(chǎng)景碎片化以及相關(guān)設(shè)備的碎片化?！獢?shù)據(jù)碎片化：隨著各大企業(yè)和研究機(jī)構(gòu)對(duì)物聯(lián)網(wǎng)、人工智能領(lǐng)域持續(xù)投入，不斷接入的設(shè)備和應(yīng)用產(chǎn)生了大量的數(shù)據(jù)，然而這些數(shù)據(jù)卻沒(méi)有被充分利用。由于各個(gè)平臺(tái)、廠商之間無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享與互通，無(wú)法整合處理這些海量數(shù)據(jù)，復(fù)雜混亂的數(shù)據(jù)環(huán)境導(dǎo)致了數(shù)據(jù)價(jià)值無(wú)法被充分挖掘?！δ芩槠耗壳案骷抑腔奂彝ギa(chǎn)品功能不一、協(xié)議各異，用戶需要單獨(dú)對(duì)每個(gè)產(chǎn)品進(jìn)行設(shè)置和操作，無(wú)法構(gòu)建對(duì)用戶友好的智能環(huán)境。例如，家中亮度調(diào)整、溫度管理等基本功能已經(jīng)可以通過(guò)智慧家庭產(chǎn)品實(shí)現(xiàn)自動(dòng)調(diào)節(jié)，但用戶仍需要通過(guò)多個(gè)不同應(yīng)用軟件進(jìn)行控制。——應(yīng)用場(chǎng)景碎片化：智慧家庭產(chǎn)品眾多，但其應(yīng)用場(chǎng)景卻常常受到限制。因?yàn)槊恳环N產(chǎn)品都需要單獨(dú)安裝、使用，不能精準(zhǔn)識(shí)別用戶需求、實(shí)現(xiàn)場(chǎng)景拉通并滿足用戶的特定場(chǎng)景需求，存在產(chǎn)品自由組合及模塊通用性難題?！悄芙K端產(chǎn)品碎片化：大多數(shù)智慧家庭設(shè)備仍然局限于單品牌或者單一設(shè)備垂直生態(tài)鏈內(nèi)。品類不同、形態(tài)不同、芯片不同等各類碎片化智能終端，由于存在標(biāo)準(zhǔn)與技術(shù)規(guī)格不統(tǒng)一的問(wèn)題，限制了設(shè)備擴(kuò)展性與互動(dòng)性。大語(yǔ)言模型的訓(xùn)練和應(yīng)用需要大量的數(shù)據(jù)，這就要求數(shù)據(jù)的質(zhì)量和安全要有保障。數(shù)據(jù)質(zhì)量要求數(shù)據(jù)的準(zhǔn)確性、完整性、一致性、時(shí)效性等，數(shù)據(jù)安全要求數(shù)據(jù)的嚴(yán)格保密、多層授權(quán)、多種加密等安全措施。如果數(shù)據(jù)的質(zhì)量和安全出現(xiàn)問(wèn)題，可能會(huì)導(dǎo)致大語(yǔ)言模型的性能下降，甚至產(chǎn)敏感等信息，可能會(huì)影響大語(yǔ)言模型的生成效果，或者引發(fā)用戶的不滿或抗議。智慧家庭設(shè)備經(jīng)用戶授權(quán)后會(huì)收集用戶的個(gè)人信息，包括位置信息、行為習(xí)慣、家庭成員信息等，并根據(jù)需要在智慧家庭設(shè)備之間相互傳輸數(shù)據(jù)，還可能將收集到的數(shù)據(jù)存儲(chǔ)在本地或云端。這些數(shù)據(jù)如果存儲(chǔ)不當(dāng)、被竊取破壞或截獲篡改，或被泄露濫用，可能會(huì)造成嚴(yán)重的后果。總體來(lái)說(shuō)，這三條主線交織構(gòu)成了行業(yè)整體發(fā)展面臨的困難與局限性。如果想要從混亂中建立起秩序，打造出為用戶提供真正幫助、便利服務(wù)和可完全依賴的高效系統(tǒng)，需要在規(guī)范推廣、系統(tǒng)架構(gòu)設(shè)計(jì)、數(shù)據(jù)處理、用戶體驗(yàn)優(yōu)化等方面進(jìn)行深度整合與拓展創(chuàng)新。在全球AIGC產(chǎn)業(yè)生態(tài)迅速形成與發(fā)展的背景下，領(lǐng)域特定的大模型技術(shù)已經(jīng)成為推Events,服務(wù)器推送事件)方式提供服務(wù)，不支持私有化部署。而企業(yè)數(shù)據(jù)或者行業(yè)知識(shí)很多屬于企業(yè)核心數(shù)——訓(xùn)練成本高昂?jiǎn)栴}：通用大語(yǔ)言模型通常包含數(shù)百億、數(shù)干億(甚至更多)的參數(shù)，其預(yù)訓(xùn)練過(guò)程依賴于大規(guī)模數(shù)據(jù)集和大量計(jì)算資源，這導(dǎo)致了高昂的訓(xùn)練成本和能源消耗。雖然目前——捏造事實(shí)(Al幻覺(jué))問(wèn)題：通用大模型對(duì)垂直領(lǐng)域知識(shí)處理能力相對(duì)有限，特別是缺少對(duì)垂直領(lǐng)域?qū)I(yè)術(shù)語(yǔ)和知識(shí)的準(zhǔn)確認(rèn)知，導(dǎo)致生成不完整或不準(zhǔn)確的答案，會(huì)對(duì)用戶的信——知識(shí)難沉淀問(wèn)題：通用大模型采用實(shí)時(shí)生成模式，由于這些模型需要處理廣泛和多樣化的話題，需要實(shí)時(shí)地吸收最新的數(shù)據(jù)和信息以保持知識(shí)的更新。但是這種持續(xù)更新的特性也可能導(dǎo)致一個(gè)問(wèn)題：對(duì)于同一個(gè)已經(jīng)確定的問(wèn)題，模型在不同的時(shí)間可能會(huì)給出不同的答案，很難保障一致性。為了解決以上問(wèn)題，垂域大模型成為典型的解決方案之一。垂域大模型是基于主流的大語(yǔ)言技術(shù)框架，運(yùn)用企業(yè)或者行業(yè)開(kāi)發(fā)者使用的自有數(shù)據(jù)集，進(jìn)行模型訓(xùn)練微調(diào)和調(diào)優(yōu)。同時(shí)結(jié)合企業(yè)的信息檢索和強(qiáng)化學(xué)習(xí)、隱私保護(hù)等技術(shù)手段，并通過(guò)私有化部署方式，保障數(shù)據(jù)準(zhǔn)確性、隱私保護(hù)和知識(shí)沉淀。大模型的未來(lái)發(fā)展趨勢(shì)是通用化與專用化并行。IDC的調(diào)研顯示目前有60%的企業(yè)使用大模型的公開(kāi)版本，但這一比例在兩年后會(huì)迅速降至17%,更多企業(yè)會(huì)將Al應(yīng)用建立在私有、專屬模型基礎(chǔ)上；同時(shí)，高達(dá)88%的企業(yè)選擇通過(guò)內(nèi)部團(tuán)隊(duì)開(kāi)發(fā)相關(guān)應(yīng)用。由此可見(jiàn)，垂直領(lǐng)域行業(yè)大模型已經(jīng)成為未來(lái)的熱點(diǎn)。生成式生成式Al模型的公開(kāi)版本上的生成式Al模型私有版本第三方生成式AI應(yīng)用程序圖3AIGC模型類型和工作團(tuán)隊(duì)的現(xiàn)狀及趨勢(shì)在騰訊云和中國(guó)信息通信研究院聯(lián)合發(fā)布的《2023年行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告》中，提出了行業(yè)大模型構(gòu)建路線圖及相應(yīng)的標(biāo)準(zhǔn)體系，圍繞業(yè)務(wù)需求分析與資源評(píng)估、行業(yè)數(shù)據(jù)與大模型共建、行業(yè)大模型微調(diào)與優(yōu)化部署等關(guān)鍵環(huán)節(jié)，為垂直領(lǐng)域行業(yè)大模型構(gòu)建的標(biāo)準(zhǔn)化流程提供了建議，以更專業(yè)、成本更低的方式引導(dǎo)行業(yè)和企業(yè)建立特有的大模型服務(wù)。未來(lái)，通過(guò)領(lǐng)域化適配，垂域大模型的構(gòu)建將加速行業(yè)的數(shù)字化轉(zhuǎn)型效率，從數(shù)據(jù)的采集、治理到形成領(lǐng)域知識(shí)后的問(wèn)答及應(yīng)用，都將變得更加高效。在特定場(chǎng)景，垂域大模型將提供更精確、更具業(yè)務(wù)價(jià)值的服務(wù)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值進(jìn)一步挖掘和釋放，推動(dòng)行業(yè)新商業(yè)模式和服務(wù)的探索創(chuàng)新。例如，在醫(yī)療行業(yè)領(lǐng)域，垂域大模型可以幫助研發(fā)新藥，加速臨床試驗(yàn)的數(shù)據(jù)分析過(guò)程；在金融領(lǐng)域，可以精準(zhǔn)預(yù)測(cè)市場(chǎng)趨勢(shì)，提供個(gè)性化的投資建議。這種創(chuàng)新不僅為企業(yè)帶來(lái)新的收入增長(zhǎng)點(diǎn)，也為整個(gè)行業(yè)的發(fā)展注入新的活力。模型應(yīng)用運(yùn)營(yíng)模型應(yīng)用運(yùn)營(yíng)模型聯(lián)調(diào)部署魔性重訓(xùn)優(yōu)化模型評(píng)估模型精調(diào)模型訓(xùn)練共建數(shù)據(jù)處理訓(xùn)練環(huán)境搭建模型選擇明確場(chǎng)景目標(biāo)工程層評(píng)估數(shù)據(jù)層評(píng)估算法層評(píng)估算力層評(píng)估業(yè)務(wù)需求評(píng)估行業(yè)需求分析與資源評(píng)估行業(yè)數(shù)據(jù)與大模型共建行業(yè)大模型精調(diào)與優(yōu)化部署智慧家庭垂域大模型是針對(duì)智慧家庭領(lǐng)域開(kāi)發(fā)的定制化模型，用以提升人工智能在家庭場(chǎng)景中的自然理解和交互能力。這些模型專注于智慧家庭特定需求，解決通用大模型無(wú)法滿足的領(lǐng)域?qū)I(yè)性和個(gè)性化問(wèn)題。在智慧家庭領(lǐng)域，垂域大模型已經(jīng)成為智能交互、數(shù)據(jù)共享、節(jié)能增效等方面必不可少的生產(chǎn)力工具。智慧家庭大模型可以根據(jù)用戶的需求和喜好，生成適合的智慧家庭場(chǎng)景和服務(wù)，實(shí)現(xiàn)智能化的家庭管理和控制；可以根據(jù)用戶的語(yǔ)音、圖像、手勢(shì)等輸入生成合適的語(yǔ)音、圖像、觸摸等輸出，實(shí)現(xiàn)流暢自然的人機(jī)交互；還可以根據(jù)用戶的行為和環(huán)境生成相應(yīng)的效率預(yù)測(cè)和節(jié)能建議，實(shí)現(xiàn)智能化的調(diào)節(jié)和提醒。智慧家庭中的語(yǔ)音控制、圖像識(shí)別、文本生成等應(yīng)用，需要大量的專業(yè)知識(shí)和資源，形成了一定的行業(yè)壁壘。而通過(guò)使用語(yǔ)言大模型和多模態(tài)大模型，可以輕松地支撐智慧家庭的服務(wù)和應(yīng)用，使得開(kāi)發(fā)智慧家庭語(yǔ)音助手、場(chǎng)景控制、安全防護(hù)等App的門檻條件大大降低。不僅如此，大模型也展現(xiàn)出驚人的創(chuàng)造力，為智慧家庭產(chǎn)品創(chuàng)新和差異化建設(shè)提供強(qiáng)有力支撐，可實(shí)現(xiàn)多種類型的內(nèi)容理解和創(chuàng)作服務(wù)，開(kāi)發(fā)出更多的新穎和有趣的產(chǎn)品和功能，滿足用戶的多樣化和個(gè)性化的需求，增加自身的品牌影響力和用戶黏性。借助大模型的內(nèi)容生成與邏輯推理能力，泛智慧家庭領(lǐng)域的傳統(tǒng)業(yè)態(tài)正在轉(zhuǎn)型，語(yǔ)音搜索與推薦、智慧教育、影音創(chuàng)作、互動(dòng)娛樂(lè)等跨界融合的業(yè)態(tài)不斷涌現(xiàn)。例如：根據(jù)用戶的影音需求和喜好，生成相應(yīng)的影音和創(chuàng)作內(nèi)容，實(shí)現(xiàn)智能化的影音和創(chuàng)作。智能娛樂(lè)還可以根據(jù)用戶的影音素材和主題，生成適合的影音和創(chuàng)作內(nèi)容，實(shí)現(xiàn)個(gè)性化和原創(chuàng)的影音和創(chuàng)作。融合了大模型技術(shù)、多模態(tài)感知技術(shù)及OTA技術(shù)的智慧家庭垂域大模型HomeGPT,通過(guò)大量領(lǐng)域特定數(shù)據(jù)的訓(xùn)練，顯著提升了智慧家庭對(duì)用戶需求的理解和響應(yīng)速度。HomeGPT垂域大模型在語(yǔ)音交互、圖像識(shí)別、用戶意圖理解等方面進(jìn)行了優(yōu)化，使得智慧家庭更好地適應(yīng)用戶的個(gè)性化需求，通過(guò)解決通用大模型存在的領(lǐng)域?qū)I(yè)性不足和無(wú)法滿足特定家庭場(chǎng)景的問(wèn)題，為用戶提供更精準(zhǔn)、智能的家庭體驗(yàn)。2022年3月，海爾智家牽頭發(fā)布《智慧家庭智能家居智能化能力等級(jí)評(píng)估模型》,構(gòu)建了完善的智慧家庭智定義，分別對(duì)應(yīng)智慧家庭發(fā)展的5個(gè)階段：?jiǎn)螜C(jī)智能(L1)、協(xié)作智能(L2)、決策智能(L3),以及即將實(shí)現(xiàn)的互聯(lián)互通，知識(shí)圖譜家庭大腦持續(xù)成長(zhǎng)智能設(shè)備進(jìn)化升級(jí)簡(jiǎn)單連接，硬科技產(chǎn)品根據(jù)中國(guó)智能家居產(chǎn)業(yè)聯(lián)盟的數(shù)據(jù)，2023年中國(guó)智慧家庭智能家居市場(chǎng)規(guī)模預(yù)計(jì)可以達(dá)到7157.1億元。預(yù)計(jì)到2027年，市場(chǎng)規(guī)模有望超過(guò)1.1萬(wàn)億元。同時(shí)，智慧家庭設(shè)備市場(chǎng)出貨量也在持續(xù)增長(zhǎng)，2023年達(dá)到3.3億臺(tái)。據(jù)IDC報(bào)告，2023年中國(guó)智慧家庭市場(chǎng)面臨宏觀消費(fèi)環(huán)境和自身發(fā)展周期的雙重挑戰(zhàn)，規(guī)模增速有所放緩，但市場(chǎng)并未停止升級(jí)調(diào)整的步伐。預(yù)計(jì)2024年中國(guó)智慧家庭市場(chǎng)需求將逐步回暖，設(shè)備出貨量將同比增長(zhǎng)6.5%。在垂域大模型的支撐下，L4級(jí)全品類應(yīng)用將加速落地，越來(lái)越多家庭的智慧生活，將因此發(fā)生質(zhì)變，智深度(性能)和廣度(通用性)Narrow(窄域)Level0:NoAl(無(wú)人工智能)人機(jī)交互計(jì)算，Level1:Emerging(新興級(jí))技能相當(dāng)于或略比沒(méi)有相關(guān)技能的老式人工智能，簡(jiǎn)單的基于ChatGPT、Bard和Llama2Level2:Competent(勝任級(jí))可以達(dá)到正常成年人50%的水平尚未實(shí)現(xiàn)可達(dá)到正常成年人90%的水平如Grammarly;圖像生成等可以劃為該階段，在技能尚未實(shí)現(xiàn)可達(dá)到正常人類99%的水平尚未實(shí)現(xiàn)Superhuman(專家級(jí))也可劃入該階段，但當(dāng)前具備ASI(超級(jí)人工智能)尚未實(shí)現(xiàn)谷歌DeepMind團(tuán)隊(duì)根據(jù)能力的深度(性能)和廣度(通用性)提出了“AGI級(jí)別”,該框架認(rèn)為，發(fā)展AGI必須遵循6個(gè)基本原則：關(guān)注能力而非過(guò)程，同時(shí)衡量技能水平和通用性，專注于認(rèn)知和元認(rèn)知任最高潛力、而非實(shí)際落地水平，注重生態(tài)有效性，關(guān)注整條AAGI將呈現(xiàn)6大發(fā)展階段(Level0-Level6),每個(gè)階段如上表所示都有對(duì)應(yīng)的深度(性能)和廣度(通用性)面向領(lǐng)域的AGI是從NarrowAI到General2023版的智慧家庭大腦白皮書(shū)定義了智能感知、智能交互、智能決策、智能連接、智慧生態(tài)、安全合規(guī)等幾個(gè)技術(shù)模塊。隨著大模型技術(shù)的發(fā)展，智慧家庭大腦也結(jié)合大模型技術(shù)進(jìn)行了系統(tǒng)性重構(gòu)與擴(kuò)一應(yīng)用網(wǎng)關(guān)模塊：包括API網(wǎng)關(guān)和API管理，負(fù)責(zé)將智能家電(如空調(diào)、冰箱、洗衣機(jī)等)——場(chǎng)景應(yīng)用平臺(tái)：智慧家庭大腦通過(guò)智能場(chǎng)景管理和業(yè)務(wù)場(chǎng)景編排，根據(jù)用戶的行為和偏一—行業(yè)知識(shí)引擎平臺(tái)：智慧家庭大腦集成了垂直領(lǐng)域大模型引擎，提供私域知識(shí)庫(kù)和語(yǔ)言理解服務(wù)，如NLP(自然語(yǔ)言處理)。這些服務(wù)可以提高對(duì)用戶指令的理解準(zhǔn)確性，并通過(guò)信心度打分來(lái)一一生態(tài)開(kāi)放平臺(tái)：建立智慧家庭領(lǐng)域生態(tài)資源服務(wù)的引入、認(rèn)證、分發(fā)、應(yīng)用、運(yùn)營(yíng)的一站技術(shù)篇平臺(tái)設(shè)備智能化接入設(shè)備接入設(shè)備審核設(shè)備運(yùn)營(yíng)APP應(yīng)用應(yīng)用開(kāi)發(fā)場(chǎng)景應(yīng)用語(yǔ)音助手多屏應(yīng)用①系統(tǒng)管理模塊智能交互運(yùn)營(yíng)語(yǔ)音、文本上下文管理計(jì)費(fèi)管理·資源分配管理管理集成杈限管控提示詞/模板管理會(huì)話管理·用戶/角色管理·集成應(yīng)用管理 集成接口管理·數(shù)據(jù)轉(zhuǎn)換處理數(shù)據(jù)安全.與合規(guī)·內(nèi)容安全審計(jì)意圖判定語(yǔ)言理解服務(wù)(NLP)現(xiàn)有系統(tǒng)②服務(wù)應(yīng)用網(wǎng)關(guān)模塊··③智慧家庭場(chǎng)景應(yīng)用平臺(tái)智能場(chǎng)景·全屋智能一·編排系統(tǒng)互聯(lián)網(wǎng)知識(shí)·自定義網(wǎng)姑信息55行業(yè)知識(shí)引擎平臺(tái)答案生成合規(guī)檢查④垂域大模型引擎思維鏈內(nèi)容生成日志數(shù)據(jù)分析日志推理與決策既有知識(shí)基座模型微調(diào)圖6系統(tǒng)整體架構(gòu)及規(guī)劃表2常見(jiàn)開(kāi)源基座大模型簡(jiǎn)介1預(yù)訓(xùn)練模型在約七千億中英文以及代碼單詞2GLM-130B基座模型千億中英語(yǔ)言模型，具有初具問(wèn)答和對(duì)話功能，在G模型中注入了ChatGPT的設(shè)計(jì)思路。3智譜Al發(fā)布的新一代基座大模型，是其大模型事業(yè)三年多來(lái)積累的技術(shù)成果之一，于2024年1月發(fā)布。4Awesome-一個(gè)整理開(kāi)源的中文大語(yǔ)言模型的項(xiàng)目，包括規(guī)模較小、可私有化部署、訓(xùn)練成本較低的底座模型，垂直領(lǐng)5人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)進(jìn)行調(diào)整，也沒(méi)有經(jīng)過(guò)指導(dǎo)性微調(diào)。在多個(gè)基準(zhǔn)測(cè)評(píng)上，Phi-2的性能表現(xiàn)超越了Mistral和Llama2的6參數(shù)規(guī)模范圍從70億到700億不等。這個(gè)模型由Meta微調(diào)而被稱為L(zhǎng)lama2-Chat,專為對(duì)話場(chǎng)景進(jìn)行優(yōu)化。數(shù)據(jù)處理能力>模型訓(xùn)練能力基座模型微調(diào)模型訓(xùn)練需要大量的高質(zhì)量數(shù)據(jù)。家庭大腦通過(guò)先進(jìn)的數(shù)據(jù)處理流程確保輸入數(shù)據(jù)的質(zhì)量與一致性。采用自動(dòng)化工具進(jìn)行數(shù)據(jù)清洗、標(biāo)注以及增強(qiáng)，保證模型接受到的是準(zhǔn)確和多樣的訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)不僅覆蓋了廣泛的情景，也確保了模型能夠在復(fù)雜多變的真實(shí)世界條件下持續(xù)有效運(yùn)行。高效的資源管理高效利用計(jì)算資源對(duì)于模型訓(xùn)練至關(guān)重要。家庭大腦借助于強(qiáng)大的分布式計(jì)算框架，確保模型訓(xùn)練能夠平行地在多個(gè)計(jì)算節(jié)點(diǎn)上運(yùn)行，顯著縮短了訓(xùn)練時(shí)間。通過(guò)使用自動(dòng)化資源分配系統(tǒng)來(lái)優(yōu)化計(jì)算資源的使用，在保證訓(xùn)練質(zhì)量的同時(shí)最大化降低了硬件成本。實(shí)時(shí)監(jiān)控與調(diào)整在模型訓(xùn)練過(guò)程中，家庭大腦的監(jiān)控系統(tǒng)會(huì)實(shí)時(shí)跟蹤每次訓(xùn)練的性能。借助于先進(jìn)的可視化工具和監(jiān)控指標(biāo)，迅速識(shí)別并解決訓(xùn)練過(guò)程中出現(xiàn)的任何問(wèn)題。此外，制定調(diào)整策略以確保在發(fā)現(xiàn)模型性能有所下降時(shí)，迅速進(jìn)行微調(diào)，維持訓(xùn)練的最優(yōu)狀態(tài)。模型訓(xùn)練不是一次性的任務(wù)，而是一個(gè)持續(xù)的過(guò)程。家庭大腦采用連續(xù)學(xué)習(xí)的框架，使得模型能夠適應(yīng)新的數(shù)據(jù)和用戶行為的變化。隨著智慧家庭領(lǐng)域的不斷演進(jìn)，模型可通過(guò)持續(xù)學(xué)習(xí)保持其先進(jìn)性和準(zhǔn)確性。結(jié)合這些關(guān)鍵要素，針對(duì)特定領(lǐng)域構(gòu)建大規(guī)模的領(lǐng)域微調(diào)數(shù)據(jù)集，確保模型在實(shí)際任務(wù)中具有良好的性能。而在垂域大模型的研發(fā)中，通常出現(xiàn)追求模型規(guī)模而忽視實(shí)際效果的“幻覺(jué)”現(xiàn)象，可通過(guò)數(shù)據(jù)的收集、標(biāo)注和預(yù)處理等步驟以減弱或消除該現(xiàn)象，并持續(xù)的優(yōu)化模型訓(xùn)練流程，以確保家庭大腦始終領(lǐng)先于智慧家庭技術(shù)的發(fā)展前沿。>強(qiáng)化學(xué)習(xí)能力強(qiáng)化學(xué)習(xí)作為家庭大腦的重要組成部分，使系統(tǒng)能夠通過(guò)與環(huán)境的不斷互動(dòng)和試錯(cuò)，自主學(xué)習(xí)如何做出最優(yōu)決策。在這一過(guò)程中，家庭大腦接收環(huán)境反饋?zhàn)鳛楠?jiǎng)勵(lì)信號(hào)，評(píng)估自己的行為并調(diào)整策略以最大化長(zhǎng)期獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)能力的發(fā)展涉及到高效的策略探索、風(fēng)險(xiǎn)評(píng)估與獎(jiǎng)勵(lì)機(jī)制設(shè)計(jì)，確保家庭大腦的行為能夠真實(shí)反映居住者的偏好并滿足需求。此外，為了使家庭大腦具備更強(qiáng)的泛化與適應(yīng)性，它將整合模擬環(huán)境訓(xùn)練與真實(shí)環(huán)境中的在線學(xué)習(xí)，不斷提升對(duì)智慧家庭場(chǎng)景的理解與響應(yīng)速度，最終實(shí)現(xiàn)提升居住體驗(yàn)與家庭能效的智能自適應(yīng)系統(tǒng)。最優(yōu)化。數(shù)據(jù)暫存區(qū)向量知識(shí)笠文檔管理知識(shí)加工識(shí)別提取業(yè)務(wù)平臺(tái)文章結(jié)構(gòu)化知識(shí)庫(kù)知識(shí)管理平臺(tái)拉通圖7私域知識(shí)平臺(tái)搭建知識(shí)獲取始于多種形式數(shù)據(jù)的采集，包括PDF、Word、Excel、Visio和SOP格式的文檔。這些原始數(shù)據(jù)通過(guò)FormRecognizer和Me模型更加經(jīng)濟(jì)高效。利用RAG增強(qiáng)大型語(yǔ)言和領(lǐng)域中使用。和更詳細(xì)的回答。終通過(guò)LLM處理并給出答案，下圖展示了主要的工作流程。技術(shù)篇8AI工程師向量庫(kù)用戶②生產(chǎn)向量S發(fā)送查詢+提示詞+上下文加強(qiáng)應(yīng)用環(huán)境圖8RAG流程技術(shù)篇在這個(gè)步驟中，大量的文檔會(huì)被分解成更小的部分或"塊",這樣做的目的是為了使得檢索過(guò)程更加高效，每過(guò)小的分塊可能會(huì)遺失關(guān)鍵的上下文信息，導(dǎo)致生成的回答缺乏連貫性或深入性。實(shí)施適當(dāng)?shù)奈臋n分塊策略是RAG系統(tǒng)的核心，以求找到這種平衡，保證信息的完整性和相關(guān)性。理想的文本塊應(yīng)在脫離周邊上下文的情況下首先，不同的嵌入模型有其最佳輸入大小。例如，OpenAl的text-em每個(gè)帖子的精確語(yǔ)義。如果用戶的查詢通常是簡(jiǎn)短和具體的，較小的分塊可能更為合適相在復(fù)雜的信息檢索RAG系統(tǒng)中，內(nèi)容的分塊會(huì)影響查詢的準(zhǔn)確率。以下將介紹五種常用的分塊方法，括固夠?qū)⑦@些混亂的積木(非結(jié)構(gòu)化數(shù)據(jù))轉(zhuǎn)換成有序的積木堆(結(jié)構(gòu)化的數(shù)字表示)的方法。這種方法被稱為嵌入用是將這些龐大的積木堆(高維稀疏向量)簡(jiǎn)化為更小的積木堆(低維稠密向量),從而讓數(shù)據(jù)變得更易于計(jì)算處理。嵌入向量是一系列浮點(diǎn)數(shù)，向量之間的距離代表了相應(yīng)概念之間的相關(guān)性——距離越小表示相關(guān)性越強(qiáng)，距離越OpenAI開(kāi)發(fā)的text-embedding-ada-002模型便是一個(gè)處理嵌入的專用模型。對(duì)于給定的輸入信息，它可以輸出一個(gè)1536維的向量數(shù)組，有效地將信息編碼為計(jì)算機(jī)可以進(jìn)一步處理的形式。可以將歷史對(duì)話和用戶的提問(wèn)一起交給LLM進(jìn)行改——假設(shè)性文檔嵌入(HyDE):HyDE的核心理念是，在接收到用戶的問(wèn)題后，讓LLM在沒(méi)有任何外部知基于大語(yǔ)言模型的檢索增強(qiáng)生成(RAG)方法已經(jīng)徹底改變了處理數(shù)據(jù)提取、信息檢索和答案生成的方式。>>數(shù)據(jù)合成技術(shù)已經(jīng)有了飛速的發(fā)展，可以成功模仿很多實(shí)際數(shù)據(jù)的基本屬性?；诟鞣N數(shù)據(jù)合成的技術(shù)，使得數(shù)據(jù)合成作為真實(shí)數(shù)據(jù)的替代品，具有廣闊的應(yīng)用前景。數(shù)據(jù)合成的核心技術(shù)如下：變分自編碼(VariationalAutoencode變分自編碼器是深度生成模型，與傳統(tǒng)的自編碼器通過(guò)數(shù)值方式描述潛空間不同，它以概率方式對(duì)潛在空間進(jìn)行觀察，在數(shù)據(jù)生成方面應(yīng)用價(jià)值較高。VAE分為兩部分，編碼器與解碼器。編碼器將原始高維輸入數(shù)據(jù)轉(zhuǎn)換為潛在空間的概率分布描述；解碼器從采樣的數(shù)據(jù)進(jìn)行重建生成新數(shù)據(jù)。生成對(duì)抗網(wǎng)絡(luò)(GenerativeAdversarialNeGAN使用零和博弈策略學(xué)習(xí)，在圖像生成中應(yīng)用廣泛。GAN包含兩個(gè)部分：生成器學(xué)習(xí)生成合理的數(shù)據(jù)。對(duì)于圖像生成來(lái)說(shuō)是給定一個(gè)向量，生成一張圖片。其生成的數(shù)據(jù)作為判別器的負(fù)樣本。判別器判別輸入是生成數(shù)據(jù)還是真實(shí)數(shù)據(jù)。網(wǎng)絡(luò)輸出越接近于0,生成數(shù)據(jù)可能性越大，反之，真實(shí)數(shù)據(jù)可能性越大。生成器與判別器相互對(duì)立。在不斷迭代訓(xùn)練中，雙方能力不斷加強(qiáng)，最終的理想結(jié)果是生成器生成的數(shù)據(jù)，判別器無(wú)法判別是真是假。擴(kuò)散是受到非平衡熱力學(xué)的啟發(fā)，定義一個(gè)擴(kuò)散步驟的馬爾科夫鏈，并逐漸向數(shù)據(jù)中添加噪聲，然后學(xué)習(xí)逆擴(kuò)散過(guò)程，從噪聲中構(gòu)建出所需的樣本。擴(kuò)散模型的最初設(shè)計(jì)是用于去除圖像中的噪聲。隨著降噪系統(tǒng)的訓(xùn)練時(shí)間越來(lái)越長(zhǎng)且越來(lái)越好，可以從純?cè)肼曢_(kāi)始，作為唯一輸入，生成逼真的圖片。標(biāo)準(zhǔn)的擴(kuò)散模型分為兩個(gè)過(guò)程：前向過(guò)程與反向過(guò)程。在前向擴(kuò)散階段，圖像被逐漸引入的噪聲污染，直到圖像成為完全隨機(jī)噪聲。在反向過(guò)程中，利用一系列馬爾可夫鏈在每個(gè)時(shí)間步逐步去除預(yù)測(cè)噪聲，從而從高斯噪聲中恢復(fù)數(shù)據(jù)。采用注意力機(jī)制(Attention)對(duì)輸入數(shù)據(jù)重要性的不同而分配不同權(quán)重，其并行化處理的優(yōu)勢(shì)能夠使其在更大的數(shù)據(jù)集訓(xùn)練，加速了GPT等預(yù)訓(xùn)練大模型的發(fā)展。最初用來(lái)完成不同語(yǔ)言之間的翻譯。主體包括Encoder與Decoder分別對(duì)源語(yǔ)言進(jìn)行編碼，并將編碼信息轉(zhuǎn)換為目標(biāo)語(yǔ)言文本。采用Transformer作為基礎(chǔ)模型，發(fā)展出了BERT,LaMDA、PaLM以及GPT系列，人工智能技術(shù)進(jìn)入大模型參數(shù)的預(yù)訓(xùn)練模型時(shí)代，助力數(shù)據(jù)合成發(fā)展。對(duì)每個(gè)分片進(jìn)行線性變換，得到固定長(zhǎng)度的向量送入Transformer,使用標(biāo)準(zhǔn)的Transformer處理方式。以礎(chǔ)網(wǎng)絡(luò)架構(gòu)。以ViT為代表的視覺(jué)大模型賦析，提高對(duì)數(shù)據(jù)的洞察能力。通過(guò)專業(yè)工具，研究復(fù)雜的模型中洞察數(shù)據(jù)特征重要程度、預(yù)測(cè)度、特征對(duì)預(yù)測(cè)結(jié)果的典型影響程度。從而，獲得對(duì)模型洞察的諸多優(yōu)點(diǎn)，使得模型易于調(diào)合成質(zhì)量的前提，需要建立更加嚴(yán)謹(jǐn)?shù)脑u(píng)估體系。為了應(yīng)對(duì)與異構(gòu)數(shù)據(jù)和應(yīng)用相關(guān)的眾多成生成的樣本進(jìn)行比較，可以從五個(gè)高級(jí)抽象標(biāo)準(zhǔn)評(píng)估生成模型，包括代表性、新穎性、真實(shí)可以根據(jù)機(jī)器學(xué)習(xí)模型的訓(xùn)練需求進(jìn)行合成數(shù)據(jù)的擴(kuò)展和定制化。無(wú)條件生成合成數(shù)據(jù)擴(kuò)展到有條件生成數(shù)據(jù)中，通過(guò)給定的上下文，使得有條件生成的合成數(shù)據(jù)在時(shí)確保數(shù)據(jù)隱私與安全?，F(xiàn)有的數(shù)據(jù)合成技術(shù)仍面臨隱私保護(hù)與信息泄露的的研究方向，可以在數(shù)據(jù)樣本中加入隨機(jī)噪聲，有效防止從合成數(shù)2022年，在Google發(fā)布的論文《Chain-of-ThoughtPromptingElicitsReasoninginLarge解的過(guò)程可以顯著提升大模型的性能。而這一系列推理的中間步驟就被稱為思維鏈(Chain-of-Thought,答大模型輸入原問(wèn)題問(wèn)使用【子問(wèn)題1+子答案1+子問(wèn)題2+子答案2+子問(wèn)題3+子答案3+原問(wèn)題大模型問(wèn)[【子問(wèn)題1+子問(wèn)題2+子答案2+子問(wèn)題3+子答案3】作為Prompt問(wèn)【子向題3+子答案3】作為Prompt向上傳遞大模型答使用【子問(wèn)題2+子問(wèn)題3+子答案3】作為Prompt子答案1答子問(wèn)題2拆分為子問(wèn)題3拆分為子問(wèn)題2子問(wèn)題3子答案3子答案2答答問(wèn)問(wèn)第一階段：輸入原始問(wèn)題后，識(shí)別核心問(wèn)題，對(duì)其進(jìn)行拆分第二階段：從最深的問(wèn)題層次開(kāi)始，使用大模型解答每個(gè)子問(wèn)題，并生成相應(yīng)的答案第三階段：下層的問(wèn)題+答案作為Prompt不斷向上層輸出第四階段：所有子問(wèn)題+答案逐層累計(jì)作為Few-shot提示詞，與原問(wèn)題共同輸入到大模型，得到原問(wèn)題的最終答案圖9思維鏈工作流程庭大腦檢測(cè)到用戶已離開(kāi)住宅，那么它可以通過(guò)邏輯推斷沒(méi)必要繼續(xù)保持某些電器的開(kāi)啟。所有方面。全面性在預(yù)防和沖突解決中是必要的，例如，家庭成員間存在睡前習(xí)慣與智慧家庭大腦有效地結(jié)合邏輯性和全面性，確?；诖罅繑?shù)本效益、用戶互操作性等多個(gè)因素。如果收益大于成本，并且在現(xiàn)有技術(shù)能力范圍內(nèi)，那可行的。例如：凈化室內(nèi)空氣的操作路徑不止一條(開(kāi)啟新風(fēng)系統(tǒng)、開(kāi)門開(kāi)窗通風(fēng)、打開(kāi)空氣凈化器等),但如——“可驗(yàn)證性”確保智慧家庭大腦動(dòng)都應(yīng)該是可追蹤和負(fù)責(zé)任的。思維鏈的驗(yàn)證能力提高了家庭大腦的信任度和可靠性，并允許持續(xù)改進(jìn)。例如，本質(zhì)上，一個(gè)有效的智慧家庭系統(tǒng)應(yīng)該遵守可行性和可驗(yàn)證性原則，確保智能解決方行方案、檢查更新。但作為Agent主體的大模型是模擬人類智能決策流程的核心，在許多Agent需要處理的任狀態(tài)行動(dòng)規(guī)則集記憶指令圖10人工智能體的工作框架與行為模式進(jìn)行分析，由"思維鏈"控制家用電器如冰箱、空調(diào)、照明設(shè)備等在合適的時(shí)間自動(dòng)開(kāi)啟和關(guān)閉，有效包括自動(dòng)化烹飪(智能廚具)、自動(dòng)化植物養(yǎng)護(hù)(智能澆水設(shè)備)、自動(dòng)化娛樂(lè)(音樂(lè)、電視等)等，讓家庭生活更思維鏈層企業(yè)業(yè)務(wù)平臺(tái)修正提示詞大模型層修正文檔描述隨著CoT技術(shù)的不斷發(fā)展，未來(lái)的智慧家庭大腦將更加智能和人性化。它將能夠處理更復(fù)雜的任務(wù)，提供更精準(zhǔn)的服務(wù)，成為家庭中不可或缺的智能伙伴。在具備“思維鏈”技術(shù)的家庭大腦的加持下，智慧家庭系統(tǒng)不僅僅是獨(dú)立設(shè)備的集合，而是作為一個(gè)有機(jī)的、相互連接的生態(tài)系統(tǒng)協(xié)同工作，創(chuàng)造出真正智能的生活環(huán)境。在2023版的家庭大腦白皮書(shū)中，有兩個(gè)非常重要的模塊：智能感知和智能決策平臺(tái)。經(jīng)過(guò)一年的努力，智能決策平臺(tái)已經(jīng)借助大模型技術(shù)能夠達(dá)到很好地效果。但是，當(dāng)前用戶仍然較多地使用語(yǔ)音、文字、APP與智慧家庭助手進(jìn)行交互，視覺(jué)、觸覺(jué)等交互模態(tài)應(yīng)用較少。因此，引入多模態(tài)聯(lián)合推理與決策提升智能感知+智能決策能力，有助于實(shí)現(xiàn)用戶與智能家電體驗(yàn)全方位銜接。在智慧家庭大腦中，多模態(tài)是指集成和處理多種類型信息來(lái)源的能力，如視覺(jué)、聲音、觸覺(jué)、結(jié)構(gòu)光等在內(nèi)的各種傳感器數(shù)據(jù)。其中包括攝像頭捕獲的圖像，麥克風(fēng)接收的音頻，溫濕度傳感器、WiFi的數(shù)據(jù)等。通過(guò)合理整合和分析這些數(shù)據(jù)，智慧家庭大腦能更全面理解家庭環(huán)境的實(shí)際狀態(tài)，從而做出正確和高效的決策。在多模態(tài)信息處理上，關(guān)鍵是要實(shí)現(xiàn)各模態(tài)數(shù)據(jù)的高效融合。由于不同模態(tài)信息來(lái)源的數(shù)據(jù)特性各異，如圖像數(shù)據(jù)的特征以顏色、形狀為主，聲音數(shù)據(jù)以頻率、振幅為主等，如何均衡捕獲和利用各模態(tài)特性就成了問(wèn)題的關(guān)鍵。通過(guò)深度學(xué)習(xí)等Al技術(shù)，可以建立有效的模態(tài)融合模型，實(shí)現(xiàn)跨模態(tài)特征表現(xiàn)的學(xué)習(xí)。在聯(lián)合推理中，我們利用處理過(guò)的多模態(tài)信息，基于邏輯推理、概率推理等方式進(jìn)行分析，如：根據(jù)家中人員的移動(dòng)軌跡推斷其行為模式，結(jié)合氣溫、濕度等環(huán)境條件推測(cè)其舒適度，通過(guò)聲音分析識(shí)別家中是否發(fā)生異在智慧家庭大腦中，計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別與理解和無(wú)線傳感網(wǎng)絡(luò)等多種信息獲取手段使得多模態(tài)聯(lián)合推理成為可能。在此基礎(chǔ)上，根據(jù)推理結(jié)果，系統(tǒng)能進(jìn)行決策制定，如：系統(tǒng)可自動(dòng)調(diào)整溫濕度，或提醒家中某處發(fā)生異常，再或是根據(jù)家庭成員習(xí)慣自動(dòng)調(diào)整家庭日常生活服務(wù)等。綜上所述，多模態(tài)聯(lián)合推理與決策在智慧家庭中發(fā)揮著重要作用，能為用戶提供更為智能、個(gè)性化和舒適的家庭環(huán)境。在未來(lái)，隨著科技的不斷進(jìn)步，多模態(tài)聯(lián)合推理與決策的應(yīng)用將會(huì)更為廣泛。AI技術(shù)下內(nèi)容的安全性、可靠性、合規(guī)性與可信AI是大模型時(shí)代面臨最大的挑戰(zhàn)，也是技術(shù)可持續(xù)發(fā)展的基礎(chǔ)。AI具有強(qiáng)大的創(chuàng)作能力，可以為人們提供豐富的信息、娛樂(lè)和教育資源，同時(shí)也帶來(lái)了一些內(nèi)容安全和合規(guī)性的挑戰(zhàn)，如虛假信息、色情暴力、版權(quán)侵權(quán)、個(gè)人隱私等。因此，大模型內(nèi)容安全需要在模型的生命周期中，采取有效的技術(shù)和管理措施，保障內(nèi)容的真實(shí)性、合法性、道德性和可靠性，防止生成的內(nèi)容對(duì)社會(huì)和個(gè)人造成不良影響。為實(shí)現(xiàn)Al模型安全合規(guī)的目的，我們提出了大模型生成內(nèi)容安全的治理方法和安全審核架構(gòu)：首先，在大模型的訓(xùn)練和生成過(guò)程中，數(shù)據(jù)是關(guān)鍵的因素，影響著大模型內(nèi)容的質(zhì)量和風(fēng)險(xiǎn)。因此，需要對(duì)數(shù)泄露等問(wèn)題。其次，在大模型的研發(fā)和運(yùn)營(yíng)過(guò)程中，技術(shù)是支撐大模型內(nèi)容安全的基礎(chǔ)，決定著大模型的可靠性和可控性。因此，需要制定統(tǒng)一的技術(shù)規(guī)范，包括技術(shù)標(biāo)準(zhǔn)、技術(shù)指南、技術(shù)評(píng)估、技術(shù)認(rèn)證等內(nèi)容，對(duì)大模型的技術(shù)方法、技術(shù)流程、技術(shù)結(jié)果、技術(shù)責(zé)任等方面進(jìn)行規(guī)范、指導(dǎo)、評(píng)價(jià)和認(rèn)證，提升大模型的技術(shù)水平和技術(shù)信任。通過(guò)建設(shè)內(nèi)容審核平臺(tái)，可以對(duì)用戶的輸入信息以及生成的內(nèi)容進(jìn)行安全審核，確保人工智能生成的內(nèi)容應(yīng)當(dāng)淫穢色情信息，虛假信息，并采取措施防止出現(xiàn)種族、民族、信仰、國(guó)別、地域、性別、年齡、職業(yè)等歧視等所有內(nèi)容的生成和最終的輸出必須經(jīng)過(guò)嚴(yán)格的過(guò)濾。涉政涉黃價(jià)值觀宗教相關(guān)性歧視輸入信息拒絕攻擊隱私特征向量特征向量鷸圖12AIGC模型內(nèi)容安全的治理方法和安全審核架構(gòu)在大模型的發(fā)布和傳播過(guò)程中，內(nèi)容是直接面向用戶的產(chǎn)品，決定著大模型的社會(huì)影響和用戶體驗(yàn)。因此，需要建立完善的內(nèi)容審核機(jī)制，包括人工審核、機(jī)器審核、用戶舉報(bào)、社區(qū)治理等環(huán)節(jié)，對(duì)大模型內(nèi)容進(jìn)行實(shí)時(shí)、全面、多維的監(jiān)測(cè)、評(píng)估、過(guò)濾和處置，防止大模型內(nèi)容的不良內(nèi)容、錯(cuò)誤信息、敏感話題等問(wèn)題。我們認(rèn)為，大模型內(nèi)容安全將從單一的內(nèi)容審核向多元的內(nèi)容治理轉(zhuǎn)變，從被動(dòng)的內(nèi)容過(guò)濾向主動(dòng)的內(nèi)容優(yōu)化轉(zhuǎn)變，從局部的內(nèi)容管理向全局的內(nèi)容生態(tài)轉(zhuǎn)變，從技術(shù)驅(qū)動(dòng)的內(nèi)容創(chuàng)造向價(jià)值導(dǎo)向的內(nèi)容創(chuàng)造轉(zhuǎn)變。大模型內(nèi)容安全還面臨著技術(shù)能力不足、數(shù)據(jù)資源不均、法律法規(guī)不完善、社會(huì)認(rèn)知不高等問(wèn)題，需要相關(guān)方共同參與、協(xié)作和負(fù)責(zé)，建立健全的大模型內(nèi)容安全體系，實(shí)現(xiàn)大模型內(nèi)容安全的目標(biāo)。與大模型技術(shù)的突飛猛進(jìn)形成鮮明對(duì)照的是，大模型仍面臨諸多潛在的安全風(fēng)險(xiǎn)。大模型在應(yīng)用的過(guò)程中，可能會(huì)產(chǎn)生與人類價(jià)值觀不一致的輸出，如歧視言論、辱罵、違背倫理道德的內(nèi)容等，這種潛在的安全風(fēng)險(xiǎn)普遍存在于文本、圖像、語(yǔ)音和視頻等諸多應(yīng)用場(chǎng)景中，并會(huì)隨著模型的大規(guī)模部署帶來(lái)日益嚴(yán)重的安全隱患，使得用戶無(wú)法信賴人工智能系統(tǒng)做出的決策。在沒(méi)有借助生成式人工智能技術(shù)的情況下，智能家電設(shè)備雖然也能與用戶交互，但回復(fù)給用戶的答案或用于控制家電的指令是經(jīng)過(guò)篩選的有限集合。而采用生成式大模型后是否會(huì)給出一些違反人類倫理道德的答案或者操作，是值得思考的問(wèn)題。人工智能的目標(biāo)是模擬、擴(kuò)展和延伸人類智能，如果人工智能只是單純追求統(tǒng)計(jì)最優(yōu)解性”;相反，包含一些人類政治、倫理、道德等觀念的人工智能會(huì)表現(xiàn)得更像人、更容易被人所接受。事實(shí)上，為了解決人工智能面對(duì)敏感復(fù)雜問(wèn)題的表現(xiàn)，開(kāi)發(fā)者通常將包含著開(kāi)發(fā)者所認(rèn)為正確觀念的答案加入訓(xùn)練過(guò)程，并通過(guò)強(qiáng)化學(xué)習(xí)等方式輸入到模型中，當(dāng)模型掌握了這些觀念時(shí)，能夠產(chǎn)生更能被人接受的回答。然而，由于政治、倫理、道德等復(fù)雜問(wèn)題往往沒(méi)有全世界通用的標(biāo)準(zhǔn)答案，符合某一區(qū)域、人群觀念判斷的人工智能，可能會(huì)與另一區(qū)域、人群在政治、倫理、道德等方面有較大差異。因此，使用內(nèi)嵌了違背我國(guó)社會(huì)共識(shí)以及公序良俗的人工智能，可能對(duì)我國(guó)網(wǎng)絡(luò)意識(shí)形態(tài)安全造成沖擊。偏見(jiàn)與歧視一方面，訓(xùn)練大模型的數(shù)據(jù)是一定時(shí)間前的歷史數(shù)據(jù)，本身往往就具有倒退偏見(jiàn)，沒(méi)有及時(shí)反映后面發(fā)生的進(jìn)步；另一方面，某些訓(xùn)練數(shù)據(jù)本身就帶有人群歧視，而且有可能會(huì)被放大。>推動(dòng)路徑在數(shù)據(jù)算法安全和倫理規(guī)范方面，需要從以下幾個(gè)方面推動(dòng)：對(duì)于智慧家庭來(lái)講，在應(yīng)用生成式人工智能技術(shù)的過(guò)程中，除了要滿足國(guó)內(nèi)外行業(yè)中的網(wǎng)絡(luò)安全、數(shù)據(jù)安全和個(gè)人信息保護(hù)等方面現(xiàn)有的法律法規(guī)和標(biāo)準(zhǔn)外，為應(yīng)對(duì)生成式人工智能算法、數(shù)據(jù)使用等帶來(lái)的安全新挑戰(zhàn)，以促進(jìn)生成式人工智能發(fā)展為基本目標(biāo)，統(tǒng)籌發(fā)展和安全，亟需針對(duì)生成式人工智能的網(wǎng)絡(luò)安全問(wèn)題、數(shù)據(jù)安全和隱私保護(hù)問(wèn)題出臺(tái)專門標(biāo)準(zhǔn)，包括但不限于生成式人工智能訓(xùn)練數(shù)據(jù)安全、人工標(biāo)注過(guò)程安全等方面的標(biāo)準(zhǔn)規(guī)范。基于上述網(wǎng)絡(luò)安全、數(shù)據(jù)安全和個(gè)人信息保護(hù)等方面的現(xiàn)有國(guó)內(nèi)外標(biāo)準(zhǔn)，結(jié)合生成式人工智能在智慧家庭的應(yīng)開(kāi)展行業(yè)比較測(cè)試，針對(duì)較好的應(yīng)用開(kāi)展行業(yè)示范，促進(jìn)技術(shù)應(yīng)用發(fā)展。人工智能治理攸關(guān)全人類命運(yùn)，是世界各國(guó)面臨的共同課題。今年以來(lái)，全球多2023年11月1日，首屆全球人工智能(Al)安全峰會(huì)上，28國(guó)聯(lián)署關(guān)于人工智能國(guó)際治理的《布萊切利宣言》,這是全球第一份針對(duì)人工智能這一快速新興技術(shù)的國(guó)際性聲明。《宣言》鼓勵(lì)相關(guān)行為者采取適當(dāng)措施，如安全測(cè)試、評(píng)估等，以衡量、監(jiān)測(cè)和減輕Al潛在有害能力及其可能產(chǎn)生的影響，并提供透明度和問(wèn)責(zé)制。呼吁各國(guó)根據(jù)風(fēng)險(xiǎn)制定基于風(fēng)險(xiǎn)的政策，包括制定適當(dāng)?shù)脑u(píng)估指標(biāo)、安全測(cè)試工具，以及發(fā)展研究。并決心支持建立一個(gè)具有國(guó)際包容性的前沿Al安全科學(xué)研究網(wǎng)絡(luò)，2023年6月，歐洲議會(huì)通過(guò)了《歐盟人工智能法案》授權(quán)草案，該法案如正式獲得批準(zhǔn)，將成為全世界首部安全性”要求人工智能系統(tǒng)在開(kāi)發(fā)和使用過(guò)程中盡量減少意外傷害，并具意第三方非法使用該系統(tǒng)或進(jìn)行改變其使用方式或性能的行為。此外，該法案禁止通過(guò)中無(wú)針對(duì)性地提取面部圖像來(lái)建立或擴(kuò)大面部識(shí)別數(shù)據(jù)庫(kù)，并禁止使用這種方式將人工智能系統(tǒng)投放市場(chǎng)使用。對(duì)于基于這些模型的生成型人工智能系統(tǒng)，法案要求遵守透明度要求，即必須披露內(nèi)容是由人工智能系統(tǒng)生成2023年10月30日，七國(guó)集團(tuán)(G7)發(fā)布《開(kāi)發(fā)先進(jìn)人工智能系統(tǒng)組織的國(guó)際行為準(zhǔn)則》。這套行為準(zhǔn)則共包含11項(xiàng)內(nèi)容，強(qiáng)調(diào)了開(kāi)發(fā)過(guò)程中應(yīng)采取的措施，以確?？尚判?、安全性和保障性。其中，開(kāi)減輕風(fēng)險(xiǎn)，包括紅隊(duì)測(cè)試和緩解措施。同時(shí)，開(kāi)發(fā)人員還需要在部署后識(shí)別并減少漏洞和誤用模方和用戶發(fā)現(xiàn)并報(bào)告問(wèn)題。此外，該準(zhǔn)則還強(qiáng)調(diào)了開(kāi)發(fā)和部署可靠的內(nèi)容身份驗(yàn)證同年，也是10月30日，美國(guó)總統(tǒng)拜登正式發(fā)布《安全、可靠及可信賴的人工智能》行政命令，這是白宮有關(guān)生成式人工智能的首套監(jiān)管規(guī)定。該行政命令要求美國(guó)多個(gè)政府機(jī)構(gòu)制定標(biāo)準(zhǔn)，對(duì)人工智能產(chǎn)品進(jìn)行測(cè)試，尋求“水印”等內(nèi)容驗(yàn)證的最佳方法，擬定網(wǎng)絡(luò)安全計(jì)劃，吸引技術(shù)人才，以保護(hù)隱私，促進(jìn)公平和公民權(quán)利，維護(hù)消費(fèi)者和勞動(dòng)者的利益，促進(jìn)創(chuàng)新和競(jìng)爭(zhēng)，提升美國(guó)的領(lǐng)導(dǎo)地位等。同時(shí)，行政命令指出，通過(guò)建立檢測(cè)Al生成內(nèi)容和認(rèn)證官方內(nèi)容的標(biāo)準(zhǔn)，從而保護(hù)美國(guó)用戶免受人工智能欺詐和欺騙。2023年10月18日，中央網(wǎng)信辦發(fā)布《全球人工智能治理倡議》,具體措施包括推動(dòng)建立風(fēng)險(xiǎn)等級(jí)測(cè)試評(píng)估體系，實(shí)施敏捷治理，分類分級(jí)管理，快速有效響應(yīng)。研發(fā)主體需要提高人工智能可解釋性和可預(yù)測(cè)性，提升數(shù)據(jù)真實(shí)性和準(zhǔn)確性，確保人工智能始終處于人類控制之下，打造可審核、可監(jiān)督、可追溯、可信賴的人工智能技術(shù)。同時(shí)，積極發(fā)展用于人工智能治理的相關(guān)技術(shù)開(kāi)發(fā)與應(yīng)用，支持利用人工智能技術(shù)防范風(fēng)險(xiǎn)，提升治理能力。此外，倡議還強(qiáng)調(diào)逐步建立健全法律和規(guī)章制度，保障人工智能研發(fā)和應(yīng)用中的個(gè)人隱私和數(shù)據(jù)安全，反對(duì)非法收集、竊取、篡改和泄露個(gè)人信息等行為。2023年7月13日，國(guó)家網(wǎng)信辦聯(lián)合國(guó)家有關(guān)部門公布《生成式人工智能服務(wù)管理暫行辦法》。要求有輿論屬性或者社會(huì)動(dòng)員能力的生成式人工智能服務(wù)的，應(yīng)當(dāng)按照國(guó)家有關(guān)規(guī)定開(kāi)展安全評(píng)估，并按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行算法備案和變更、注銷備案手續(xù)。根據(jù)各國(guó)法規(guī)，針對(duì)跨境類型的服務(wù)，需要遵守以下的基本要求：■遵守目標(biāo)國(guó)家或地區(qū)的互聯(lián)網(wǎng)法律法規(guī)，包括數(shù)據(jù)安全、個(gè)人信息保護(hù)、知識(shí)產(chǎn)權(quán)、消費(fèi)者權(quán)益等方面的規(guī)定?！隽私饽繕?biāo)國(guó)家或地區(qū)的文化、習(xí)慣、需求和偏好，尊重當(dāng)?shù)氐膬r(jià)值觀和社會(huì)風(fēng)俗，避免觸犯敏感或禁忌的內(nèi)容提供適合當(dāng)?shù)厥袌?chǎng)的服務(wù)?！鼋⒔∪珨?shù)據(jù)安全和個(gè)人信息保護(hù)的制度和措施，采取必要的技術(shù)手段，保障數(shù)據(jù)的安全和合法流動(dòng)，防止數(shù)據(jù)的泄露、篡改、損毀或?yàn)E用?！霁@取用戶的明確同意，告知用戶數(shù)據(jù)的收集、使用、存儲(chǔ)、轉(zhuǎn)移和刪除的目的、方式和范圍，尊重用戶的知情權(quán)和選擇權(quán)，保障用戶的隱私權(quán)和其他合法權(quán)益?！雠浜夏繕?biāo)國(guó)家或地區(qū)的監(jiān)管部門，按照法律法規(guī)的要求，提供必要的信息或協(xié)助，履行社會(huì)責(zé)任，處理用戶的投訴或糾紛。在智慧家庭場(chǎng)景下，需要解決交互系統(tǒng)中，超強(qiáng)的用戶意圖理解與訓(xùn)練數(shù)據(jù)泛化以及模型可控性的問(wèn)題：智慧家庭要求交互系統(tǒng)能在不同的場(chǎng)景和任務(wù)中靈活地應(yīng)用和調(diào)整自己的策略和行為，以實(shí)現(xiàn)更自然、更智能、更人性化的交互體驗(yàn)。具體來(lái)說(shuō)，以往的交互系統(tǒng)主要是以有監(jiān)督學(xué)習(xí)建模為主導(dǎo)的交互系統(tǒng)(如以BERT為預(yù)訓(xùn)練模型進(jìn)行有監(jiān)督微調(diào))。受訓(xùn)練標(biāo)注數(shù)據(jù)量不足的影響，往往對(duì)自然交互中用戶指令的理解不夠準(zhǔn)確。即針對(duì)多種泛化說(shuō)法，原有系統(tǒng)難以理解用戶的準(zhǔn)確意圖。同樣地，受訓(xùn)練數(shù)據(jù)和先驗(yàn)知識(shí)不足的影響，交互系統(tǒng)回復(fù)給用戶的生成語(yǔ)料也缺乏知識(shí)量和智能感。具體來(lái)說(shuō)，以基于無(wú)監(jiān)督學(xué)習(xí)的大模型為主導(dǎo)的交互系統(tǒng)(如ChatGPT等),其在聊天領(lǐng)域擁有強(qiáng)泛化涌現(xiàn)能力的同時(shí)，受神經(jīng)網(wǎng)絡(luò)不可解釋性的天然因素影響，在智慧家庭等應(yīng)用領(lǐng)域天然存在不穩(wěn)定、不安全等可控性差的問(wèn)題，無(wú)法有效預(yù)估交互系統(tǒng)對(duì)用戶意圖的辨識(shí)情況，同時(shí)無(wú)法控制由模型生成的內(nèi)容。因此，這類系統(tǒng)下的交互行為往往存在不可預(yù)知的風(fēng)險(xiǎn)。另外，系統(tǒng)還存在大模型響應(yīng)時(shí)長(zhǎng)較為緩慢、某些特性信息無(wú)法單獨(dú)建模、以及不支持私有化部署等問(wèn)題。為了提升交互系統(tǒng)中用戶意圖理解與訓(xùn)練數(shù)據(jù)泛化能力與可控性，家庭大腦通過(guò)對(duì)在有監(jiān)督學(xué)習(xí)建模主導(dǎo)的可控性交互系統(tǒng)架構(gòu)中，對(duì)耦合大模型進(jìn)行多源特征處理、生成數(shù)據(jù)建庫(kù)索引，以及動(dòng)態(tài)反饋等機(jī)制，解決自監(jiān)督學(xué)習(xí)大模型在調(diào)用過(guò)程中的輸出結(jié)果不可控、響應(yīng)慢及私有化部署問(wèn)題。在以智能交互過(guò)程中用戶意圖為GPT模型轉(zhuǎn)換目標(biāo)，對(duì)原始語(yǔ)料自動(dòng)進(jìn)行轉(zhuǎn)換及解析，以解決可監(jiān)督BERT建模為主導(dǎo)的交互系統(tǒng)無(wú)法滿足用戶對(duì)交互系統(tǒng)中用戶意圖理解與訓(xùn)練數(shù)據(jù)泛化的問(wèn)題。此外，還解決了利用GPT技術(shù)實(shí)現(xiàn)半自動(dòng)標(biāo)注工具，解決了降本增效的技術(shù)問(wèn)題。在之前的智慧家庭可控交互系統(tǒng)中，存在包括數(shù)據(jù)預(yù)處理、語(yǔ)義理解、上下文控制、對(duì)話策略管理、自然語(yǔ)言生成等多個(gè)功能節(jié)點(diǎn)。如下圖所示：faq-worker協(xié)議境信息交互環(huán)模板結(jié)束云系統(tǒng)系統(tǒng)信息境信息口家電上下文nlp云協(xié)議信息人望圖13智慧家庭可控性交互系統(tǒng)技術(shù)架構(gòu)GPTGPT核心模型領(lǐng)域分類二次領(lǐng)域分類N是否屬于NHaier對(duì)話引擎(DialogEngine)上下文語(yǔ)義消歧設(shè)備管理設(shè)備類型消岐對(duì)話策略推薦loT設(shè)備列表接口Hyper結(jié)構(gòu)領(lǐng)域分級(jí)·NLU泛化意圖解析依存句法分析領(lǐng)域分類實(shí)體識(shí)別對(duì)話行為識(shí)別領(lǐng)域管理自定義模板意圖管理上下文loT設(shè)備別名識(shí)別用戶原始Query對(duì)話狀態(tài)信息數(shù)樞迭代模型模板規(guī)則圖14多節(jié)點(diǎn)分布式耦合GPT技術(shù)架構(gòu)此外，在上述多節(jié)點(diǎn)耦合過(guò)程中，通過(guò)構(gòu)建分布式耦合并帶有反饋?zhàn)詫W(xué)習(xí)的HyperGPT模型(Hy-per-StructureGPT模型),來(lái)實(shí)現(xiàn)在特征層面上的融合。在引導(dǎo)交互過(guò)程中，可用該模型由編碼器和解碼器組成。對(duì)于編碼器，首先輸入原始交互文本，并進(jìn)行分層規(guī)范化(一種特征縮放技術(shù)，用于修改神經(jīng)網(wǎng)絡(luò)中層的輸入數(shù)據(jù)),然后進(jìn)行多頭注意力操作，再輸入至層規(guī)范化和前饋網(wǎng)絡(luò)(一種人工層的輸出直接與后一層的輸入相加，從而構(gòu)成了一種跨層連接的方式),得到編碼特征向量合并后的特征向量；對(duì)于解碼器，首先輸入合并后的特征向量，并進(jìn)行層規(guī)范化和多頭注的層規(guī)范化結(jié)果進(jìn)行前饋處理，得到各候選詞的預(yù)測(cè)概率分布，最后輸出各個(gè)候選詞的預(yù)測(cè)概率分布對(duì)應(yīng)的詞(1)在自然語(yǔ)言理解(NaturalLanguageUnderstanding,NLU)領(lǐng)域分類的相關(guān)節(jié)點(diǎn)上，在編碼層進(jìn)行特征融合時(shí)，通過(guò)自注意力機(jī)制將領(lǐng)域與原始query進(jìn)行自學(xué)習(xí)，將其注意力計(jì)上，從而能夠更準(zhǔn)確地提升該槽位(用戶表達(dá)意圖的句子中，用來(lái)準(zhǔn)確表達(dá)該意圖的關(guān)鍵信息的標(biāo)識(shí)，被稱為槽位)的識(shí)別效果，并為原始模型注入領(lǐng)域知識(shí)。(2)在命名實(shí)體識(shí)別(NamedEntityRecognition,NER)節(jié)點(diǎn)上，通過(guò)構(gòu)建NERHyper模型來(lái)進(jìn)行通用實(shí)體識(shí)別模型，來(lái)構(gòu)建多節(jié)點(diǎn)耦合結(jié)構(gòu)的應(yīng)用實(shí)踐。通過(guò)利用上述特征和注意力機(jī)制，并引入條件隨機(jī)場(chǎng)(3)在句法分析節(jié)點(diǎn)上，通過(guò)構(gòu)建句法分析Hyper模型來(lái)構(gòu)建另一種多節(jié)點(diǎn)耦合結(jié)構(gòu)的應(yīng)用實(shí)踐。在該模綜上，通過(guò)構(gòu)建帶有特征解耦的模型結(jié)構(gòu)來(lái)對(duì)原有系統(tǒng)中各任務(wù)節(jié)點(diǎn)進(jìn)行強(qiáng)化，即在可控的架構(gòu)中，對(duì)各可此前的傳統(tǒng)語(yǔ)音交互中，存在體驗(yàn)不自然、不流暢、不智慧等問(wèn)題。具體來(lái)說(shuō)，每次交互需要特定喚醒詞喚醒，無(wú)法自然流暢的連續(xù)交互；智能設(shè)備連續(xù)拾取的聲音中，無(wú)法有效拒識(shí)干擾音頻(如播音員新聞廣播等),影為解決以上問(wèn)題，采用了基于多源跨領(lǐng)域建模的全雙工連續(xù)語(yǔ)音交互技術(shù)。針對(duì)不自然不流暢問(wèn)題，基于跨領(lǐng)域全雙工連續(xù)語(yǔ)音交互能力，實(shí)現(xiàn)了多源信息聯(lián)合建模的自然語(yǔ)言理解拒識(shí)算法，并在全雙工智能冰箱落地。針對(duì)不流暢不智慧問(wèn)題，基于HomeGPT交互引擎的分發(fā)決策、動(dòng)態(tài)反饋、多路GPT模型耦合，緩存建庫(kù)檢索音頻音頻類別1類別2類別3文本對(duì)齊后殘差圖15基于音頻和文本多源聯(lián)合建模的拒識(shí)提出了基于音頻和文本多源聯(lián)合建模的拒識(shí)模型，既可以識(shí)別聲音來(lái)源是否有效，也可以合理，有效提升非正常語(yǔ)音請(qǐng)求的拒識(shí)精度。其中，多源拒識(shí)模型框架設(shè)計(jì)為開(kāi)放式結(jié)構(gòu)，未來(lái)可以接入更多數(shù)據(jù)源如溫濕度、人感、紅外、圖像等更多的模態(tài)信息，進(jìn)一步提高模型精度。通過(guò)自研的提出了基于音頻和文本多源聯(lián)合建模的拒識(shí)模型。在該多源拒識(shí)模型結(jié)構(gòu)中，多源特征融合模塊基于能量通過(guò)將音頻的特征向量和文本的特征向量分別輸入到各自的對(duì)齊網(wǎng)絡(luò)層，得到維度一致的兩個(gè)向量。使用上述多源建?？珙I(lǐng)域全雙工連續(xù)語(yǔ)音交互系統(tǒng)，已在智能冰箱上進(jìn)行了落地實(shí)踐，該系統(tǒng)的流程如下圖所用戶用戶終端Al調(diào)度服務(wù)ASRTTSNLP對(duì)話引擎全雙工意圖槽位音頻流音績(jī)數(shù)據(jù)圖16多源建?？珙I(lǐng)域全雙工連續(xù)語(yǔ)音交互系統(tǒng)此外，在數(shù)據(jù)標(biāo)注任務(wù)上通過(guò)構(gòu)建分布式耦合自動(dòng)標(biāo)注工具，實(shí)現(xiàn)了包括詞析、關(guān)鍵詞提取、知識(shí)解釋等自動(dòng)標(biāo)注功能，以及支持同向語(yǔ)義和反向語(yǔ)義的自動(dòng)泛化能力。通過(guò)該自動(dòng)標(biāo)注工具，已提升數(shù)據(jù)標(biāo)注工作和文本泛化的80%效能。自動(dòng)標(biāo)注adverbadjectiveinterjec狀語(yǔ)狀語(yǔ)主語(yǔ)狀語(yǔ)狀語(yǔ)請(qǐng)語(yǔ)詞性標(biāo)注命名實(shí)體標(biāo)注句法標(biāo)注關(guān)鍵詞標(biāo)注賓語(yǔ)賓語(yǔ)賓語(yǔ)武語(yǔ)HomeGPT賦能交互服務(wù)與場(chǎng)景的全面升級(jí)隨著智慧家庭領(lǐng)域的快速發(fā)展，用戶所需要的不再局限于簡(jiǎn)單的遠(yuǎn)程控制和為核心驅(qū)動(dòng)力，將重塑智慧家庭AI,帶來(lái)不一樣的家庭生活體驗(yàn)。大模型提升了智慧家庭設(shè)備和應(yīng)用的可用性，帶來(lái)了全新的交互模式和豐富的用戶體驗(yàn)，創(chuàng)造出更多想象空間。多模態(tài)大模型結(jié)合數(shù)字家庭知識(shí)庫(kù)可以幫助用戶構(gòu)建出一個(gè)更加豐富、友好的交互方式，使大模型應(yīng)用與人的交互過(guò)程無(wú)限趨近于人類自身的習(xí)慣。同時(shí)，多模態(tài)大模型還可以與VR/AR、元宇宙、AlAgent等技術(shù)體系或場(chǎng)景進(jìn)一步融合，打造更深層、更多維、更豐滿的全新交互體驗(yàn)?？梢韵胂?，在不久的將來(lái)，大模型采用數(shù)字家庭管家作為總控制端，采用接近自然對(duì)話和VR/AR的溝通方式，采用Multi-Agent等技術(shù)架構(gòu)模擬家庭成員活動(dòng)/模擬家庭空間場(chǎng)景/模擬家電控制關(guān)系，采用Sin-gle-Agent技術(shù)結(jié)合本地知識(shí)庫(kù)、本地傳感器、本地家電等落地用戶需要的服務(wù)，這將帶來(lái)完全不同與傳統(tǒng)APP或智能硬件的交互體驗(yàn)。于機(jī)械化，用戶交互復(fù)雜，準(zhǔn)確度低，而且對(duì)用戶的普通話水平以及指令的準(zhǔn)確度有較高的要關(guān)閉電視等。而家庭內(nèi)在線語(yǔ)音識(shí)別的交互方式功能也較少，設(shè)備主要依提升。而大模型賦能之后，離線語(yǔ)音市場(chǎng)份額必將降低，而集成了大模型、語(yǔ)音識(shí)別、語(yǔ)音播用戶和設(shè)備的溝通更加人性化，降低對(duì)指令格式的要求，降低普通話標(biāo)準(zhǔn)程度的要將記錄人的行為、模擬人的性格、預(yù)測(cè)人的需求，這將大幅度降低智能化內(nèi)容接入的要求，配識(shí)庫(kù)和本地用戶歷史操作信息，語(yǔ)音識(shí)別的內(nèi)容將可大幅度擴(kuò)展，擬人化程度更高，帶有語(yǔ)畫像，自動(dòng)搜索并推薦用戶希望看的電影，并將電視打開(kāi)并切換到電基本功能。但是隨著大模型的賦能，語(yǔ)音識(shí)別技術(shù)將告別這些指令型和搜索型的基本能力，而借助大模型“泛化”能力，自動(dòng)根據(jù)用戶的習(xí)慣，進(jìn)行主動(dòng)服務(wù)，大幅度擴(kuò)展應(yīng)用場(chǎng)景。例如，當(dāng)用戶想視劇時(shí)，只需要說(shuō)出具體的影片名稱或者演員名稱，大模型就可以自動(dòng)搜索并播放相應(yīng)的影片或者電視劇。此外，大模型還可以學(xué)習(xí)用戶的影音偏好和習(xí)慣，提供個(gè)性化的影音、硬件協(xié)同、隨影音內(nèi)容推在大模型的加持下，多數(shù)智慧終端(如智能音箱、智能電視、智能手表、手機(jī)和平板等),均可升級(jí)成為具備支持基于上下文理解的自然交互功能的智能終端。升級(jí)后的智慧終端能夠根據(jù)用戶的語(yǔ)音庭環(huán)境和設(shè)備狀態(tài)，提供智能化的控制、管理和服務(wù)。即便是結(jié)時(shí)間、地點(diǎn)、天氣、交通等。環(huán)境上下文可以通過(guò)傳感器、攝物聯(lián)網(wǎng)等網(wǎng)絡(luò)獲取。環(huán)境上下文為智慧家庭提供適應(yīng)性和智能化的服務(wù)，如根據(jù)室內(nèi)外溫差自好、習(xí)慣、情緒、目標(biāo)、需求等。用戶上下文可以通過(guò)人臉識(shí)別、語(yǔ)音識(shí)別、生物識(shí)別、行為分析等技術(shù)獲取用戶身份，通過(guò)家電或者內(nèi)容服務(wù)中的歷史記錄，大模型自動(dòng)給出用戶的用戶畫像。用戶上下性化和人性化的服務(wù)，如根據(jù)用戶的身份和喜好推薦節(jié)目、根據(jù)用戶的健康狀況和需求提供互內(nèi)容、交互歷史、交互結(jié)果等。交互上下文可以通過(guò)智慧家庭的平臺(tái)、終端、接口庭提供高效和友好的交互體驗(yàn)，如根據(jù)交互設(shè)備的特點(diǎn)選擇合適的交互模式、根據(jù)交互內(nèi)容基基于Agent的AI大模型語(yǔ)言處理我想看個(gè)喜劇電影用戶主人，收到，請(qǐng)稍候…Al數(shù)字人豆備的狀態(tài)，以及外部的時(shí)間、天氣等信息。智慧家庭可以根據(jù)這些信息，自動(dòng)調(diào)節(jié)設(shè)備的參數(shù)，如亮度、音量、色溫等，交互內(nèi)容提供相關(guān)的信息、根據(jù)用戶的交互歷史提供快捷的操作、根據(jù)用戶的交互結(jié)果提供滿意的服務(wù)等。>基于數(shù)字人應(yīng)用的家庭管家專屬數(shù)字人時(shí)，人們可以投入更多的信任與情感，與傳統(tǒng)的終端交互設(shè)備相比，溝通更加便捷，交互效率也隨之提升。同時(shí)，人格化的數(shù)字人還能為用戶帶來(lái)獨(dú)一無(wú)二的情感關(guān)懷，可以更好地幫助用戶構(gòu)建美好的家庭生活。圍繞智慧家庭場(chǎng)景，廠商正在打造多模態(tài)交互、具備家庭服務(wù)專業(yè)知識(shí)與技能，同時(shí)擁有情感交流與陪伴屬性的數(shù)字人。他們可以成為智慧家庭管家，幫助用戶管理家務(wù)，根據(jù)口味推薦健康菜譜，將模式，無(wú)論何時(shí)踏進(jìn)家門，都無(wú)需操心瑣事，只用舒適享受。他們也可以作為母嬰管理專家，手把手教學(xué)，幫助孕期媽媽安全平穩(wěn)地度過(guò)每一天，指導(dǎo)新手父母進(jìn)行嬰幼兒的撫育。當(dāng)然，也可以成為用戶的健身教練、形象管圖19全屋智慧生活管家和智慧管家相處的越久，它就越“懂你”,會(huì)記得用戶的各種習(xí)慣和喜好，哪怕用戶對(duì)當(dāng)下家庭內(nèi)娛樂(lè)教育場(chǎng)景市場(chǎng)很大，但是當(dāng)前的內(nèi)容形式和主題相對(duì)單一，通常以兒童教育為主，缺乏針對(duì)不同年齡段、興趣愛(ài)好的多元化選擇?；?dòng)性也不足：大部分家庭內(nèi)娛樂(lè)教育內(nèi)容以大模型賦能之后，首先，可以根據(jù)用戶的興趣愛(ài)好、學(xué)習(xí)需求等因素，為用戶提供個(gè)性化的娛樂(lè)教育內(nèi)容推薦，提高用戶體驗(yàn)。還可以運(yùn)用自然語(yǔ)言處理等技術(shù)，開(kāi)發(fā)出具有交互性的教育內(nèi)容，如智能問(wèn)答、語(yǔ)音識(shí)別等，提高用戶的參與性和互動(dòng)性。可以對(duì)用戶的學(xué)習(xí)過(guò)程和成果進(jìn)行實(shí)時(shí)監(jiān)控和評(píng)估，為用戶其次，優(yōu)質(zhì)的娛樂(lè)教育資源往往集中在一線城市和發(fā)達(dá)地區(qū)，而其他地區(qū)和欠發(fā)達(dá)地區(qū)的資源相對(duì)匱乏。大以互聯(lián)互通帶來(lái)的全屋智能基本上已經(jīng)覆蓋了，隨之而來(lái)的服務(wù)體驗(yàn)，將隨著在A大模型不僅在于其可以實(shí)現(xiàn)全屋智能、智能控制等基本功能，更在于其可以實(shí)現(xiàn)大腦決策、模應(yīng)用篇Al33Al智慧洗識(shí)別面料一鍵洗護(hù)千萬(wàn)級(jí)云端洗護(hù)數(shù)據(jù)支持，多維度識(shí)別面料應(yīng)用篇智慧集控使用無(wú)憂好空氣圖21全屋空氣管理——智慧舒適家系統(tǒng)：一句話定制好空氣，空調(diào)會(huì)根據(jù)用戶指令自動(dòng)定位用戶所在地域、季節(jié)，結(jié)合室內(nèi)空氣質(zhì)量狀況、使用人群，制定到不同地區(qū)、不同人群一年四季的空氣調(diào)節(jié)方案，自動(dòng)進(jìn)行空氣管理。智慧舒適家系統(tǒng)智慧舒適家系統(tǒng)一句話定制好空氣只需一句“小優(yōu)小優(yōu)，舒適家”,自動(dòng)進(jìn)行空氣決策與管理二圖22智慧舒適家系統(tǒng)家庭內(nèi)能源管理主要包括水電氣管理和光伏等清潔能源管理。在當(dāng)前市場(chǎng)中，智能化所能帶來(lái)的功能還非常有限，主要原因在能源管理和人的生活息息相關(guān)，需要保證家庭成員的生活體驗(yàn)，這就導(dǎo)致了一些常規(guī)化的智能手段很難奏效。大模型賦能后，將能夠更好地應(yīng)對(duì)這些挑戰(zhàn)和問(wèn)題。大模型以及通過(guò)大模型管理的家庭系統(tǒng)，更好地識(shí)別和處理復(fù)雜場(chǎng)景，提高水電氣的使用效率。例如，知道了家庭人員的生活習(xí)慣，提前設(shè)置冰箱制冷、熱水器設(shè)置、空調(diào)頻率調(diào)整等。還可以和外界能源生態(tài)打通，例如，獲取電網(wǎng)補(bǔ)貼，通過(guò)錯(cuò)峰用電，調(diào)整用電，系統(tǒng)光伏和儲(chǔ)能手段。更好地適應(yīng)用戶行為和環(huán)境因素，提高家電設(shè)定、燃?xì)馐褂玫慕?jīng)濟(jì)型、安全性和便捷性。還可以通過(guò)人臉識(shí)別和指紋識(shí)別技術(shù)，因人而異的提供個(gè)性化的能源服務(wù)。隨著人們生活水平的提高，對(duì)于健康養(yǎng)生服務(wù)需求增長(zhǎng)迅速，尤其是中老年人、女性和兒童群體。而且健康市場(chǎng)細(xì)分日益明顯，家庭內(nèi)健康養(yǎng)生市場(chǎng)開(kāi)始出現(xiàn)細(xì)分的趨勢(shì)，比如瑜伽、健身、營(yíng)養(yǎng)食譜、睡眠等各個(gè)領(lǐng)域都有專門的市場(chǎng)。但是這個(gè)市場(chǎng)，因?yàn)槿说捏w征參數(shù)和服務(wù)的內(nèi)容參數(shù)沒(méi)有做到很好的拉通，導(dǎo)致健康市場(chǎng)百花齊放，但是良莠不齊，更何況健康解決方案的試錯(cuò)的成本很高，亟待科技改善。大模型在醫(yī)療領(lǐng)域的應(yīng)用為智慧家庭的健康養(yǎng)生提供了全新的可能性。結(jié)合物聯(lián)網(wǎng)操作系統(tǒng)，融合分布式感知和多模態(tài)大模型，可以全方位檢測(cè)和分析家庭環(huán)境數(shù)據(jù)。比如智慧家庭系統(tǒng)可以實(shí)時(shí)監(jiān)測(cè)室內(nèi)空氣質(zhì)量，通過(guò)大模型的深度學(xué)習(xí)能力準(zhǔn)確識(shí)別并分析空氣質(zhì)量，在檢測(cè)到空氣質(zhì)量不佳時(shí)，可以自動(dòng)觸發(fā)空氣凈化設(shè)備，提高室內(nèi)空氣質(zhì)量。通過(guò)學(xué)習(xí)家庭成員的健康數(shù)據(jù)，可以為每個(gè)成員生成個(gè)性化的健康建議，甚至及時(shí)發(fā)現(xiàn)潛在的健康風(fēng)險(xiǎn)。結(jié)合大數(shù)據(jù)和知識(shí)圖譜，智慧家庭將成為家庭成員健康管理的智能助手。智慧家庭系統(tǒng)可以將健康信息展現(xiàn)在家電上(如智能電視或智能鏡子),能夠提供健康建議、疾病預(yù)防知識(shí)和定期健康檢查提醒。通過(guò)語(yǔ)音交互，家庭成員可以隨時(shí)獲取專業(yè)的健康咨詢，使智能家電成為家庭健康的個(gè)性化專業(yè)顧問(wèn)。智能冰箱可以實(shí)現(xiàn)更為智能的食品管理。根據(jù)家庭成員的健康狀況和個(gè)性化的飲食需求，系統(tǒng)可以生成合理的飲食建議。冰箱內(nèi)置的攝像頭可以識(shí)別冰箱內(nèi)的食物，并提醒成員關(guān)注食材的新鮮度，能夠根據(jù)食材推薦菜譜，同時(shí)智能購(gòu)物清單的生成也可以依托大模型的學(xué)習(xí)和生成能力，確保家庭購(gòu)物更加健康、全面。全屋用水管理，通過(guò)家庭大腦屏，可以實(shí)現(xiàn)全屋水質(zhì)監(jiān)測(cè)、水量統(tǒng)計(jì)，水質(zhì)自潔、設(shè)備保養(yǎng)、濾芯更換等主動(dòng)服務(wù)提醒，確保用戶用水健康。全屋照明全屋設(shè)備+定個(gè)提醒全屋速陽(yáng)時(shí)間管理