大模型時代智慧家庭應用新范式（2024年）

家庭大腦白皮書(2024年)數(shù)字家庭網(wǎng)絡國家工程研究中心青島科技大學喜馬拉雅vivO+36O視覺云曲宗峰朱文印李永華鄧邱偉田云龍張少君王海坤王平輝喻建琦杜永杰、趙培、王杰、張國軍、張海東、白雪冰、孫浩、高大群、李大起、黃子杰、劉新平、馬曉然、蘇明月、穆建廣、周華、何勝利、王曉、郝德峰、王偉偉、劉復鑫、曹敏峰、湯蘇東、馬杰、尹飛、張旭、王淼、趙乾、張文濤、牛麗、趙辰、竇方正海爾智家、中國家用電器研究院、數(shù)字家庭網(wǎng)絡國家工程研究中心、國家高端智能化家用電器創(chuàng)新中心、中國質量認證中心、西安交通大學、北京郵電大學、青島科技大學、微軟(中國)有限公司、科大訊飛股份有限公司、維沃移動通信有限公司、深圳和而泰智能控制股份有限公司、上海喜馬拉雅科技有限公司、北京在當前數(shù)字經(jīng)濟浪潮下，以生成式人工智能(ArtificialIntelligenceGeneratedContent,AIGC)為代表的通用人工智能(ArtificialGeneralIntelligence,AGI)技術正在激發(fā)全球范圍內(nèi)的科技革命和產(chǎn)業(yè)變革。大模型實現(xiàn)了認知智能的技術躍遷，其帶來的能力提升和智慧涌現(xiàn)正在向眾多垂直領域擴散，更是為智慧家庭行業(yè)帶來了重要的發(fā)展契機。盡管通用大模型作為技術基礎在多個領域表現(xiàn)優(yōu)異，但由于缺乏專業(yè)知識與行業(yè)數(shù)據(jù)，現(xiàn)有通用大模型并不能精準解決某個行業(yè)或企業(yè)的特定需求和問題，因此很難直接應用于特定行業(yè)領域。為此，結合大模型的通用能力和行業(yè)的個性化需求，構建高精準、高可靠的垂域大模型成為必然選擇。通過行業(yè)知識的積累和專業(yè)人員的不斷精調(diào)，垂域大模型朝著“專業(yè)、精細”方向發(fā)展，為特定場景提供更精確、更具業(yè)務價值的服務，加速行業(yè)智能化轉型升級。通用大模型與行業(yè)垂域大模型交替演進的方式可以有效平衡大模型訓練投入成本和邊際效益。在智慧家庭行業(yè)，以HomeGPT為代表的智慧家庭垂域大模型，已經(jīng)率先探索實踐，推動了整個行業(yè)的發(fā)展。HomeGPT不僅繼承了通用大模型的自然語言處理、文字處理、圖像處理等基礎能力，還進一步研發(fā)了深度語義理解技術，進行了億級家庭知識增強訓練，并開發(fā)了行業(yè)首個場景生成引擎。智慧家庭垂域大模型，強調(diào)與硬件產(chǎn)品的結合和場景的聯(lián)動，使場景定制和智慧家庭應用更加智能、普及，開啟了智慧家庭Al應用的新時代。未來，隨著Al垂域大模型的落地，將帶來智能化生產(chǎn)力的重構，推動智慧家庭行業(yè)在新賽道上創(chuàng)新與升級，為消費者提供更智能、便捷、個性化的產(chǎn)品和服務。子梅宏，甲辰孟春于北京海爾智家大腦的愿景是：讓冰冷的“House”成為溫馨舒適的“Home”,讓家變得更智慧、更溫馨，時刻主動關懷各家庭成員的不同需求，使房子從“越住越老”進化為“越住越聰明”。海爾智家給家裝上一顆大腦，讓體驗更有深度。滿足的不是單一局部需求，而是復雜場景的多任務需求；不是實現(xiàn)單個產(chǎn)品的功能，而是實現(xiàn)產(chǎn)品之間跨空間、跨系統(tǒng)、跨設備的聯(lián)動交互。通過跨知識領域智能決策，在衣食住娛各個領域打造更豐富、更有深度的場景體驗，讓智慧生活的感受大有不同?；仡櫼酝?，海爾智家大腦與行業(yè)各領域專家、學者共同探討技術的發(fā)展與應用。2022年發(fā)布的《家庭大腦白皮書》1.0,為智慧家庭技術構建和生態(tài)平臺的搭建提供方向；2023年發(fā)布的《家庭大腦白皮書》2.0,為智慧家庭空間計算以及大模型與智慧家庭交互的應用提供方向。我們希望可以與行業(yè)一起攜手，持續(xù)推動智慧家庭行業(yè)的能力建設與探索，推進行業(yè)健康、快速、可持續(xù)地發(fā)展。2023年以來，智慧家庭見證了Al和大模型技術的巨大突破，技術和應用的進步為行業(yè)帶來了新的發(fā)展動力。在大模型技術落地應用到智慧家庭體驗方面，海爾智家進行了從“0到1”的探索與實踐。HaierHomeGPT,率先將大模型能力落地應用于智慧家庭，通過獨有的深度語義理解技術、億級家庭知識增強、行業(yè)首個場景生成引擎三大技術優(yōu)勢，全面推動了行業(yè)交互體驗、智慧場景能力、生活服務能力全面進為推動智慧生活品質持續(xù)升級，海爾智家聯(lián)合中國家用電器研究院、數(shù)字家庭網(wǎng)絡國家工程研究中心、國創(chuàng)中心、中國質量認證中心、西安交通大學、北京郵電大學、青島科技大學、微軟中國、科大訊飛、和而泰、喜馬拉雅、vivo、360視覺云等行業(yè)優(yōu)秀高校、單位、企業(yè)共同撰寫《家庭大腦白皮書(2024)》,旨在通過解析大模型時代下智慧家庭行業(yè)發(fā)展趨勢、技術路線、場景創(chuàng)新，搭建開放生態(tài)，為智慧家庭服務企業(yè)的創(chuàng)新發(fā)展提供新范式。海爾智家副總裁全屋智慧總經(jīng)理1.趨勢篇：大模型推動智慧家庭產(chǎn)業(yè)快速進入“L4主動智能”發(fā)展階段 11.1.大語言模型開啟智慧家庭AI應用的全新時代 2 4 6 91.5.垂域大模型引領智慧家庭進入L4 2.技術篇：AGI在智慧家庭領域的探索實踐 2.1.構建垂域大模型的關鍵能力 2.3.家庭大腦與大模型思維鏈 262.4.多模態(tài)聯(lián)合推理與決策 292.5.Al技術下內(nèi)容的安全與合規(guī) 2.6.大模型時代的Al倫理 2.7.國際性法律法規(guī) 2.8.智慧家庭垂域大模型探索實踐 3.應用篇：HomeGPT賦能交互、服務與場景的全面升級 3.1.交互的升級 423.2.服務的升級 4.展望篇：AGI促進智慧家庭全面發(fā)展 結語 56——功能方面，全面實現(xiàn)了設備之間的協(xié)同和聯(lián)動，形成了更加豐富和復雜的智能場景。特別是，這些智能場景不僅能夠根據(jù)用戶的預設條件和指令自動觸發(fā)，還能夠根據(jù)用戶的環(huán)境、行為、情I1.1.大語言模型開啟智慧家庭AI應用的全新時代>大語言模型加速智慧家庭產(chǎn)業(yè)發(fā)展根據(jù)Statista的統(tǒng)計，2023年全球智慧家庭智能家居市場已經(jīng)突破1000億美元，預計2024年將達到1600億美元，2026年將達到2,078億美元。從發(fā)展趨勢來看，智慧家庭產(chǎn)業(yè)發(fā)展空間廣闊。圖1全球智慧家庭市場發(fā)展趨勢(單位：億美元)ChatGPT的問世，掀起了生成式人工智能的AI浪潮，隨著知識“涌現(xiàn)”現(xiàn)象的出現(xiàn)，國際、國內(nèi)出現(xiàn)了非常多的大語言模型(LargeLanguageModel,LLM),包括ChatGPT、文心一言、星火等眾多大模型，以LLM為代表的Al技術也正在加速智慧家庭產(chǎn)品和場景的變革和創(chuàng)新。這些場景的成功落地，不僅在為用戶創(chuàng)造更健康、安全、舒適、便捷、低碳的個性化家庭生活環(huán)進一步提高了全球范圍內(nèi)的智慧家庭滲透率，加速了整個行業(yè)的發(fā)展。據(jù)IDC一項針對全球企業(yè)的生成式人工智能調(diào)研結果顯示，知識管理場景是AIGC現(xiàn)在最受組織青睞的應用中國美國4.9%圖2最有希望被企業(yè)采用的AIGC應用場景有效應用。借助海爾近40年的高質量領域多模態(tài)知識積累，——數(shù)據(jù)來源分散：智慧家庭的數(shù)據(jù)來源涵蓋范圍廣，不僅涉及衣、食、住、行、娛樂、健康等領域，還包括電商平臺、醫(yī)學網(wǎng)站、娛樂新聞、旅游網(wǎng)站、百科，以及高價值的企業(yè)數(shù)據(jù)和開放知識(如Con-ceptNet、WordNet)據(jù)，還包括半結構化的用戶畫像、客服工單、電商評論等，以及非結構化的家用電器使用裝結構圖(圖片類)、功能說明文本(文字類)、表格(圖表類)等信息?！|量參差不齊：智慧家庭領域在數(shù)據(jù)質量方面普遍存在一定的問題，例如：家庭產(chǎn)品、用戶行為、社區(qū)服務、政務服務等多個行業(yè)、領域、層次的數(shù)據(jù)，普遍存在包括數(shù)據(jù)噪聲、數(shù)據(jù)缺失、數(shù)據(jù)不平衡、任據(jù)積累碎片化；另外，智慧家庭應用交互能力參差不齊，設備、用戶、客服等各類數(shù)據(jù)管控不一造成了數(shù)據(jù)的無在智慧家庭領域，行業(yè)的碎片化問題是一個不容小覷的挑戰(zhàn)。碎片化問題主要體現(xiàn)在四個方面，即數(shù)據(jù)碎片化、功能碎片化、應用場景碎片化以及相關設備的碎片化?！獢?shù)據(jù)碎片化：隨著各大企業(yè)和研究機構對物聯(lián)網(wǎng)、人工智能領域持續(xù)投入，不斷接入的設備和應用產(chǎn)生了大量的數(shù)據(jù)，然而這些數(shù)據(jù)卻沒有被充分利用。由于各個平臺、廠商之間無法實現(xiàn)數(shù)據(jù)共享與互通，無法整合處理這些海量數(shù)據(jù)，復雜混亂的數(shù)據(jù)環(huán)境導致了數(shù)據(jù)價值無法被充分挖掘。——功能碎片化：目前各家智慧家庭產(chǎn)品功能不一、協(xié)議各異，用戶需要單獨對每個產(chǎn)品進行設置和操作，無法構建對用戶友好的智能環(huán)境。例如，家中亮度調(diào)整、溫度管理等基本功能已經(jīng)可以通過智慧家庭產(chǎn)品實現(xiàn)自動調(diào)節(jié)，但用戶仍需要通過多個不同應用軟件進行控制?！獞脠鼍八槠褐腔奂彝ギa(chǎn)品眾多，但其應用場景卻常常受到限制。因為每一種產(chǎn)品都需要單獨安裝、使用，不能精準識別用戶需求、實現(xiàn)場景拉通并滿足用戶的特定場景需求，存在產(chǎn)品自由組合及模塊通用性難題?！悄芙K端產(chǎn)品碎片化：大多數(shù)智慧家庭設備仍然局限于單品牌或者單一設備垂直生態(tài)鏈內(nèi)。品類不同、形態(tài)不同、芯片不同等各類碎片化智能終端，由于存在標準與技術規(guī)格不統(tǒng)一的問題，限制了設備擴展性與互動性。大語言模型的訓練和應用需要大量的數(shù)據(jù)，這就要求數(shù)據(jù)的質量和安全要有保障。數(shù)據(jù)質量要求數(shù)據(jù)的準確性、完整性、一致性、時效性等，數(shù)據(jù)安全要求數(shù)據(jù)的嚴格保密、多層授權、多種加密等安全措施。如果數(shù)據(jù)的質量和安全出現(xiàn)問題，可能會導致大語言模型的性能下降，甚至產(chǎn)敏感等信息，可能會影響大語言模型的生成效果，或者引發(fā)用戶的不滿或抗議。智慧家庭設備經(jīng)用戶授權后會收集用戶的個人信息，包括位置信息、行為習慣、家庭成員信息等，并根據(jù)需要在智慧家庭設備之間相互傳輸數(shù)據(jù)，還可能將收集到的數(shù)據(jù)存儲在本地或云端。這些數(shù)據(jù)如果存儲不當、被竊取破壞或截獲篡改，或被泄露濫用，可能會造成嚴重的后果?？傮w來說，這三條主線交織構成了行業(yè)整體發(fā)展面臨的困難與局限性。如果想要從混亂中建立起秩序，打造出為用戶提供真正幫助、便利服務和可完全依賴的高效系統(tǒng)，需要在規(guī)范推廣、系統(tǒng)架構設計、數(shù)據(jù)處理、用戶體驗優(yōu)化等方面進行深度整合與拓展創(chuàng)新。在全球AIGC產(chǎn)業(yè)生態(tài)迅速形成與發(fā)展的背景下，領域特定的大模型技術已經(jīng)成為推Events,服務器推送事件)方式提供服務，不支持私有化部署。而企業(yè)數(shù)據(jù)或者行業(yè)知識很多屬于企業(yè)核心數(shù)——訓練成本高昂問題：通用大語言模型通常包含數(shù)百億、數(shù)干億(甚至更多)的參數(shù)，其預訓練過程依賴于大規(guī)模數(shù)據(jù)集和大量計算資源，這導致了高昂的訓練成本和能源消耗。雖然目前——捏造事實(Al幻覺)問題：通用大模型對垂直領域知識處理能力相對有限，特別是缺少對垂直領域專業(yè)術語和知識的準確認知，導致生成不完整或不準確的答案，會對用戶的信——知識難沉淀問題：通用大模型采用實時生成模式，由于這些模型需要處理廣泛和多樣化的話題，需要實時地吸收最新的數(shù)據(jù)和信息以保持知識的更新。但是這種持續(xù)更新的特性也可能導致一個問題：對于同一個已經(jīng)確定的問題，模型在不同的時間可能會給出不同的答案，很難保障一致性。為了解決以上問題，垂域大模型成為典型的解決方案之一。垂域大模型是基于主流的大語言技術框架，運用企業(yè)或者行業(yè)開發(fā)者使用的自有數(shù)據(jù)集，進行模型訓練微調(diào)和調(diào)優(yōu)。同時結合企業(yè)的信息檢索和強化學習、隱私保護等技術手段，并通過私有化部署方式，保障數(shù)據(jù)準確性、隱私保護和知識沉淀。大模型的未來發(fā)展趨勢是通用化與專用化并行。IDC的調(diào)研顯示目前有60%的企業(yè)使用大模型的公開版本，但這一比例在兩年后會迅速降至17%,更多企業(yè)會將Al應用建立在私有、專屬模型基礎上；同時，高達88%的企業(yè)選擇通過內(nèi)部團隊開發(fā)相關應用。由此可見，垂直領域行業(yè)大模型已經(jīng)成為未來的熱點。生成式生成式Al模型的公開版本上的生成式Al模型私有版本第三方生成式AI應用程序圖3AIGC模型類型和工作團隊的現(xiàn)狀及趨勢在騰訊云和中國信息通信研究院聯(lián)合發(fā)布的《2023年行業(yè)大模型標準體系及能力架構研究報告》中，提出了行業(yè)大模型構建路線圖及相應的標準體系，圍繞業(yè)務需求分析與資源評估、行業(yè)數(shù)據(jù)與大模型共建、行業(yè)大模型微調(diào)與優(yōu)化部署等關鍵環(huán)節(jié)，為垂直領域行業(yè)大模型構建的標準化流程提供了建議，以更專業(yè)、成本更低的方式引導行業(yè)和企業(yè)建立特有的大模型服務。未來，通過領域化適配，垂域大模型的構建將加速行業(yè)的數(shù)字化轉型效率，從數(shù)據(jù)的采集、治理到形成領域知識后的問答及應用，都將變得更加高效。在特定場景，垂域大模型將提供更精確、更具業(yè)務價值的服務，實現(xiàn)數(shù)據(jù)價值進一步挖掘和釋放，推動行業(yè)新商業(yè)模式和服務的探索創(chuàng)新。例如，在醫(yī)療行業(yè)領域，垂域大模型可以幫助研發(fā)新藥，加速臨床試驗的數(shù)據(jù)分析過程；在金融領域，可以精準預測市場趨勢，提供個性化的投資建議。這種創(chuàng)新不僅為企業(yè)帶來新的收入增長點，也為整個行業(yè)的發(fā)展注入新的活力。模型應用運營模型應用運營模型聯(lián)調(diào)部署魔性重訓優(yōu)化模型評估模型精調(diào)模型訓練共建數(shù)據(jù)處理訓練環(huán)境搭建模型選擇明確場景目標工程層評估數(shù)據(jù)層評估算法層評估算力層評估業(yè)務需求評估行業(yè)需求分析與資源評估行業(yè)數(shù)據(jù)與大模型共建行業(yè)大模型精調(diào)與優(yōu)化部署智慧家庭垂域大模型是針對智慧家庭領域開發(fā)的定制化模型，用以提升人工智能在家庭場景中的自然理解和交互能力。這些模型專注于智慧家庭特定需求，解決通用大模型無法滿足的領域專業(yè)性和個性化問題。在智慧家庭領域，垂域大模型已經(jīng)成為智能交互、數(shù)據(jù)共享、節(jié)能增效等方面必不可少的生產(chǎn)力工具。智慧家庭大模型可以根據(jù)用戶的需求和喜好，生成適合的智慧家庭場景和服務，實現(xiàn)智能化的家庭管理和控制；可以根據(jù)用戶的語音、圖像、手勢等輸入生成合適的語音、圖像、觸摸等輸出，實現(xiàn)流暢自然的人機交互；還可以根據(jù)用戶的行為和環(huán)境生成相應的效率預測和節(jié)能建議，實現(xiàn)智能化的調(diào)節(jié)和提醒。智慧家庭中的語音控制、圖像識別、文本生成等應用，需要大量的專業(yè)知識和資源，形成了一定的行業(yè)壁壘。而通過使用語言大模型和多模態(tài)大模型，可以輕松地支撐智慧家庭的服務和應用，使得開發(fā)智慧家庭語音助手、場景控制、安全防護等App的門檻條件大大降低。不僅如此，大模型也展現(xiàn)出驚人的創(chuàng)造力，為智慧家庭產(chǎn)品創(chuàng)新和差異化建設提供強有力支撐，可實現(xiàn)多種類型的內(nèi)容理解和創(chuàng)作服務，開發(fā)出更多的新穎和有趣的產(chǎn)品和功能，滿足用戶的多樣化和個性化的需求，增加自身的品牌影響力和用戶黏性。借助大模型的內(nèi)容生成與邏輯推理能力，泛智慧家庭領域的傳統(tǒng)業(yè)態(tài)正在轉型，語音搜索與推薦、智慧教育、影音創(chuàng)作、互動娛樂等跨界融合的業(yè)態(tài)不斷涌現(xiàn)。例如：根據(jù)用戶的影音需求和喜好，生成相應的影音和創(chuàng)作內(nèi)容，實現(xiàn)智能化的影音和創(chuàng)作。智能娛樂還可以根據(jù)用戶的影音素材和主題，生成適合的影音和創(chuàng)作內(nèi)容，實現(xiàn)個性化和原創(chuàng)的影音和創(chuàng)作。融合了大模型技術、多模態(tài)感知技術及OTA技術的智慧家庭垂域大模型HomeGPT,通過大量領域特定數(shù)據(jù)的訓練，顯著提升了智慧家庭對用戶需求的理解和響應速度。HomeGPT垂域大模型在語音交互、圖像識別、用戶意圖理解等方面進行了優(yōu)化，使得智慧家庭更好地適應用戶的個性化需求，通過解決通用大模型存在的領域專業(yè)性不足和無法滿足特定家庭場景的問題，為用戶提供更精準、智能的家庭體驗。2022年3月，海爾智家牽頭發(fā)布《智慧家庭智能家居智能化能力等級評估模型》,構建了完善的智慧家庭智定義，分別對應智慧家庭發(fā)展的5個階段：單機智能(L1)、協(xié)作智能(L2)、決策智能(L3),以及即將實現(xiàn)的互聯(lián)互通，知識圖譜家庭大腦持續(xù)成長智能設備進化升級簡單連接，硬科技產(chǎn)品根據(jù)中國智能家居產(chǎn)業(yè)聯(lián)盟的數(shù)據(jù)，2023年中國智慧家庭智能家居市場規(guī)模預計可以達到7157.1億元。預計到2027年，市場規(guī)模有望超過1.1萬億元。同時，智慧家庭設備市場出貨量也在持續(xù)增長，2023年達到3.3億臺。據(jù)IDC報告，2023年中國智慧家庭市場面臨宏觀消費環(huán)境和自身發(fā)展周期的雙重挑戰(zhàn)，規(guī)模增速有所放緩，但市場并未停止升級調(diào)整的步伐。預計2024年中國智慧家庭市場需求將逐步回暖，設備出貨量將同比增長6.5%。在垂域大模型的支撐下，L4級全品類應用將加速落地，越來越多家庭的智慧生活，將因此發(fā)生質變，智深度(性能)和廣度(通用性)Narrow(窄域)Level0:NoAl(無人工智能)人機交互計算，Level1:Emerging(新興級)技能相當于或略比沒有相關技能的老式人工智能，簡單的基于ChatGPT、Bard和Llama2Level2:Competent(勝任級)可以達到正常成年人50%的水平尚未實現(xiàn)可達到正常成年人90%的水平如Grammarly;圖像生成等可以劃為該階段，在技能尚未實現(xiàn)可達到正常人類99%的水平尚未實現(xiàn)Superhuman(專家級)也可劃入該階段，但當前具備ASI(超級人工智能)尚未實現(xiàn)谷歌DeepMind團隊根據(jù)能力的深度(性能)和廣度(通用性)提出了“AGI級別”,該框架認為，發(fā)展AGI必須遵循6個基本原則：關注能力而非過程，同時衡量技能水平和通用性，專注于認知和元認知任最高潛力、而非實際落地水平，注重生態(tài)有效性，關注整條AAGI將呈現(xiàn)6大發(fā)展階段(Level0-Level6),每個階段如上表所示都有對應的深度(性能)和廣度(通用性)面向領域的AGI是從NarrowAI到General2023版的智慧家庭大腦白皮書定義了智能感知、智能交互、智能決策、智能連接、智慧生態(tài)、安全合規(guī)等幾個技術模塊。隨著大模型技術的發(fā)展，智慧家庭大腦也結合大模型技術進行了系統(tǒng)性重構與擴一應用網(wǎng)關模塊：包括API網(wǎng)關和API管理，負責將智能家電(如空調(diào)、冰箱、洗衣機等)——場景應用平臺：智慧家庭大腦通過智能場景管理和業(yè)務場景編排，根據(jù)用戶的行為和偏一—行業(yè)知識引擎平臺：智慧家庭大腦集成了垂直領域大模型引擎，提供私域知識庫和語言理解服務，如NLP(自然語言處理)。這些服務可以提高對用戶指令的理解準確性，并通過信心度打分來一一生態(tài)開放平臺：建立智慧家庭領域生態(tài)資源服務的引入、認證、分發(fā)、應用、運營的一站技術篇平臺設備智能化接入設備接入設備審核設備運營APP應用應用開發(fā)場景應用語音助手多屏應用①系統(tǒng)管理模塊智能交互運營語音、文本上下文管理計費管理·資源分配管理管理集成杈限管控提示詞/模板管理會話管理·用戶/角色管理·集成應用管理 集成接口管理·數(shù)據(jù)轉換處理數(shù)據(jù)安全.與合規(guī)·內(nèi)容安全審計意圖判定語言理解服務(NLP)現(xiàn)有系統(tǒng)②服務應用網(wǎng)關模塊··③智慧家庭場景應用平臺智能場景·全屋智能一·編排系統(tǒng)互聯(lián)網(wǎng)知識·自定義網(wǎng)姑信息55行業(yè)知識引擎平臺答案生成合規(guī)檢查④垂域大模型引擎思維鏈內(nèi)容生成日志數(shù)據(jù)分析日志推理與決策既有知識基座模型微調(diào)圖6系統(tǒng)整體架構及規(guī)劃表2常見開源基座大模型簡介1預訓練模型在約七千億中英文以及代碼單詞2GLM-130B基座模型千億中英語言模型，具有初具問答和對話功能，在G模型中注入了ChatGPT的設計思路。3智譜Al發(fā)布的新一代基座大模型，是其大模型事業(yè)三年多來積累的技術成果之一，于2024年1月發(fā)布。4Awesome-一個整理開源的中文大語言模型的項目，包括規(guī)模較小、可私有化部署、訓練成本較低的底座模型，垂直領5人類反饋的強化學習(RLHF)進行調(diào)整，也沒有經(jīng)過指導性微調(diào)。在多個基準測評上，Phi-2的性能表現(xiàn)超越了Mistral和Llama2的6參數(shù)規(guī)模范圍從70億到700億不等。這個模型由Meta微調(diào)而被稱為Llama2-Chat,專為對話場景進行優(yōu)化。數(shù)據(jù)處理能力>模型訓練能力基座模型微調(diào)模型訓練需要大量的高質量數(shù)據(jù)。家庭大腦通過先進的數(shù)據(jù)處理流程確保輸入數(shù)據(jù)的質量與一致性。采用自動化工具進行數(shù)據(jù)清洗、標注以及增強，保證模型接受到的是準確和多樣的訓練數(shù)據(jù)。這些數(shù)據(jù)不僅覆蓋了廣泛的情景，也確保了模型能夠在復雜多變的真實世界條件下持續(xù)有效運行。高效的資源管理高效利用計算資源對于模型訓練至關重要。家庭大腦借助于強大的分布式計算框架，確保模型訓練能夠平行地在多個計算節(jié)點上運行，顯著縮短了訓練時間。通過使用自動化資源分配系統(tǒng)來優(yōu)化計算資源的使用，在保證訓練質量的同時最大化降低了硬件成本。實時監(jiān)控與調(diào)整在模型訓練過程中，家庭大腦的監(jiān)控系統(tǒng)會實時跟蹤每次訓練的性能。借助于先進的可視化工具和監(jiān)控指標，迅速識別并解決訓練過程中出現(xiàn)的任何問題。此外，制定調(diào)整策略以確保在發(fā)現(xiàn)模型性能有所下降時，迅速進行微調(diào)，維持訓練的最優(yōu)狀態(tài)。模型訓練不是一次性的任務，而是一個持續(xù)的過程。家庭大腦采用連續(xù)學習的框架，使得模型能夠適應新的數(shù)據(jù)和用戶行為的變化。隨著智慧家庭領域的不斷演進，模型可通過持續(xù)學習保持其先進性和準確性。結合這些關鍵要素，針對特定領域構建大規(guī)模的領域微調(diào)數(shù)據(jù)集，確保模型在實際任務中具有良好的性能。而在垂域大模型的研發(fā)中，通常出現(xiàn)追求模型規(guī)模而忽視實際效果的“幻覺”現(xiàn)象，可通過數(shù)據(jù)的收集、標注和預處理等步驟以減弱或消除該現(xiàn)象，并持續(xù)的優(yōu)化模型訓練流程，以確保家庭大腦始終領先于智慧家庭技術的發(fā)展前沿。>強化學習能力強化學習作為家庭大腦的重要組成部分，使系統(tǒng)能夠通過與環(huán)境的不斷互動和試錯，自主學習如何做出最優(yōu)決策。在這一過程中，家庭大腦接收環(huán)境反饋作為獎勵信號，評估自己的行為并調(diào)整策略以最大化長期獎勵。強化學習能力的發(fā)展涉及到高效的策略探索、風險評估與獎勵機制設計，確保家庭大腦的行為能夠真實反映居住者的偏好并滿足需求。此外，為了使家庭大腦具備更強的泛化與適應性，它將整合模擬環(huán)境訓練與真實環(huán)境中的在線學習，不斷提升對智慧家庭場景的理解與響應速度，最終實現(xiàn)提升居住體驗與家庭能效的智能自適應系統(tǒng)。最優(yōu)化。數(shù)據(jù)暫存區(qū)向量知識笠文檔管理知識加工識別提取業(yè)務平臺文章結構化知識庫知識管理平臺拉通圖7私域知識平臺搭建知識獲取始于多種形式數(shù)據(jù)的采集，包括PDF、Word、Excel、Visio和SOP格式的文檔。這些原始數(shù)據(jù)通過FormRecognizer和Me模型更加經(jīng)濟高效。利用RAG增強大型語言和領域中使用。和更詳細的回答。終通過LLM處理并給出答案，下圖展示了主要的工作流程。技術篇8AI工程師向量庫用戶②生產(chǎn)向量S發(fā)送查詢+提示詞+上下文加強應用環(huán)境圖8RAG流程技術篇在這個步驟中，大量的文檔會被分解成更小的部分或"塊",這樣做的目的是為了使得檢索過程更加高效，每過小的分塊可能會遺失關鍵的上下文信息，導致生成的回答缺乏連貫性或深入性。實施適當?shù)奈臋n分塊策略是RAG系統(tǒng)的核心，以求找到這種平衡，保證信息的完整性和相關性。理想的文本塊應在脫離周邊上下文的情況下首先，不同的嵌入模型有其最佳輸入大小。例如，OpenAl的text-em每個帖子的精確語義。如果用戶的查詢通常是簡短和具體的，較小的分塊可能更為合適相在復雜的信息檢索RAG系統(tǒng)中，內(nèi)容的分塊會影響查詢的準確率。以下將介紹五種常用的分塊方法，括固夠將這些混亂的積木(非結構化數(shù)據(jù))轉換成有序的積木堆(結構化的數(shù)字表示)的方法。這種方法被稱為嵌入用是將這些龐大的積木堆(高維稀疏向量)簡化為更小的積木堆(低維稠密向量),從而讓數(shù)據(jù)變得更易于計算處理。嵌入向量是一系列浮點數(shù)，向量之間的距離代表了相應概念之間的相關性——距離越小表示相關性越強，距離越OpenAI開發(fā)的text-embedding-ada-002模型便是一個處理嵌入的專用模型。對于給定的輸入信息，它可以輸出一個1536維的向量數(shù)組，有效地將信息編碼為計算機可以進一步處理的形式?？梢詫v史對話和用戶的提問一起交給LLM進行改——假設性文檔嵌入(HyDE):HyDE的核心理念是，在接收到用戶的問題后，讓LLM在沒有任何外部知基于大語言模型的檢索增強生成(RAG)方法已經(jīng)徹底改變了處理數(shù)據(jù)提取、信息檢索和答案生成的方式。>>數(shù)據(jù)合成技術已經(jīng)有了飛速的發(fā)展，可以成功模仿很多實際數(shù)據(jù)的基本屬性?；诟鞣N數(shù)據(jù)合成的技術，使得數(shù)據(jù)合成作為真實數(shù)據(jù)的替代品，具有廣闊的應用前景。數(shù)據(jù)合成的核心技術如下：變分自編碼(VariationalAutoencode變分自編碼器是深度生成模型，與傳統(tǒng)的自編碼器通過數(shù)值方式描述潛空間不同，它以概率方式對潛在空間進行觀察，在數(shù)據(jù)生成方面應用價值較高。VAE分為兩部分，編碼器與解碼器。編碼器將原始高維輸入數(shù)據(jù)轉換為潛在空間的概率分布描述；解碼器從采樣的數(shù)據(jù)進行重建生成新數(shù)據(jù)。生成對抗網(wǎng)絡(GenerativeAdversarialNeGAN使用零和博弈策略學習，在圖像生成中應用廣泛。GAN包含兩個部分：生成器學習生成合理的數(shù)據(jù)。對于圖像生成來說是給定一個向量，生成一張圖片。其生成的數(shù)據(jù)作為判別器的負樣本。判別器判別輸入是生成數(shù)據(jù)還是真實數(shù)據(jù)。網(wǎng)絡輸出越接近于0,生成數(shù)據(jù)可能性越大，反之，真實數(shù)據(jù)可能性越大。生成器與判別器相互對立。在不斷迭代訓練中，雙方能力不斷加強，最終的理想結果是生成器生成的數(shù)據(jù)，判別器無法判別是真是假。擴散是受到非平衡熱力學的啟發(fā)，定義一個擴散步驟的馬爾科夫鏈，并逐漸向數(shù)據(jù)中添加噪聲，然后學習逆擴散過程，從噪聲中構建出所需的樣本。擴散模型的最初設計是用于去除圖像中的噪聲。隨著降噪系統(tǒng)的訓練時間越來越長且越來越好，可以從純噪聲開始，作為唯一輸入，生成逼真的圖片。標準的擴散模型分為兩個過程：前向過程與反向過程。在前向擴散階段，圖像被逐漸引入的噪聲污染，直到圖像成為完全隨機噪聲。在反向過程中，利用一系列馬爾可夫鏈在每個時間步逐步去除預測噪聲，從而從高斯噪聲中恢復數(shù)據(jù)。采用注意力機制(Attention)對輸入數(shù)據(jù)重要性的不同而分配不同權重，其并行化處理的優(yōu)勢能夠使其在更大的數(shù)據(jù)集訓練，加速了GPT等預訓練大模型的發(fā)展。最初用來完成不同語言之間的翻譯。主體包括Encoder與Decoder分別對源語言進行編碼，并將編碼信息轉換為目標語言文本。采用Transformer作為基礎模型，發(fā)展出了BERT,LaMDA、PaLM以及GPT系列，人工智能技術進入大模型參數(shù)的預訓練模型時代，助力數(shù)據(jù)合成發(fā)展。對每個分片進行線性變換，得到固定長度的向量送入Transformer,使用標準的Transformer處理方式。以礎網(wǎng)絡架構。以ViT為代表的視覺大模型賦析，提高對數(shù)據(jù)的洞察能力。通過專業(yè)工具，研究復雜的模型中洞察數(shù)據(jù)特征重要程度、預測度、特征對預測結果的典型影響程度。從而，獲得對模型洞察的諸多優(yōu)點，使得模型易于調(diào)合成質量的前提，需要建立更加嚴謹?shù)脑u估體系。為了應對與異構數(shù)據(jù)和應用相關的眾多成生成的樣本進行比較，可以從五個高級抽象標準評估生成模型，包括代表性、新穎性、真實可以根據(jù)機器學習模型的訓練需求進行合成數(shù)據(jù)的擴展和定制化。無條件生成合成數(shù)據(jù)擴展到有條件生成數(shù)據(jù)中，通過給定的上下文，使得有條件生成的合成數(shù)據(jù)在時確保數(shù)據(jù)隱私與安全?，F(xiàn)有的數(shù)據(jù)合成技術仍面臨隱私保護與信息泄露的的研究方向，可以在數(shù)據(jù)樣本中加入隨機噪聲，有效防止從合成數(shù)2022年，在Google發(fā)布的論文《Chain-of-ThoughtPromptingElicitsReasoninginLarge解的過程可以顯著提升大模型的性能。而這一系列推理的中間步驟就被稱為思維鏈(Chain-of-Thought,答大模型輸入原問題問使用【子問題1+子答案1+子問題2+子答案2+子問題3+子答案3+原問題大模型問[【子問題1+子問題2+子答案2+子問題3+子答案3】作為Prompt問【子向題3+子答案3】作為Prompt向上傳遞大模型答使用【子問題2+子問題3+子答案3】作為Prompt子答案1答子問題2拆分為子問題3拆分為子問題2子問題3子答案3子答案2答答問問第一階段：輸入原始問題后，識別核心問題，對其進行拆分第二階段：從最深的問題層次開始，使用大模型解答每個子問題，并生成相應的答案第三階段：下層的問題+答案作為Prompt不斷向上層輸出第四階段：所有子問題+答案逐層累計作為Few-shot提示詞，與原問題共同輸入到大模型，得到原問題的最終答案圖9思維鏈工作流程庭大腦檢測到用戶已離開住宅，那么它可以通過邏輯推斷沒必要繼續(xù)保持某些電器的開啟。所有方面。全面性在預防和沖突解決中是必要的，例如，家庭成員間存在睡前習慣與智慧家庭大腦有效地結合邏輯性和全面性，確保基于大量數(shù)本效益、用戶互操作性等多個因素。如果收益大于成本，并且在現(xiàn)有技術能力范圍內(nèi)，那可行的。例如：凈化室內(nèi)空氣的操作路徑不止一條(開啟新風系統(tǒng)、開門開窗通風、打開空氣凈化器等),但如——“可驗證性”確保智慧家庭大腦動都應該是可追蹤和負責任的。思維鏈的驗證能力提高了家庭大腦的信任度和可靠性，并允許持續(xù)改進。例如，本質上，一個有效的智慧家庭系統(tǒng)應該遵守可行性和可驗證性原則，確保智能解決方行方案、檢查更新。但作為Agent主體的大模型是模擬人類智能決策流程的核心，在許多Agent需要處理的任狀態(tài)行動規(guī)則集記憶指令圖10人工智能體的工作框架與行為模式進行分析，由"思維鏈"控制家用電器如冰箱、空調(diào)、照明設備等在合適的時間自動開啟和關閉，有效包括自動化烹飪(智能廚具)、自動化植物養(yǎng)護(智能澆水設備)、自動化娛樂(音樂、電視等)等，讓家庭生活更思維鏈層企業(yè)業(yè)務平臺修正提示詞大模型層修正文檔描述隨著CoT技術的不斷發(fā)展，未來的智慧家庭大腦將更加智能和人性化。它將能夠處理更復雜的任務，提供更精準的服務，成為家庭中不可或缺的智能伙伴。在具備“思維鏈”技術的家庭大腦的加持下，智慧家庭系統(tǒng)不僅僅是獨立設備的集合，而是作為一個有機的、相互連接的生態(tài)系統(tǒng)協(xié)同工作，創(chuàng)造出真正智能的生活環(huán)境。在2023版的家庭大腦白皮書中，有兩個非常重要的模塊：智能感知和智能決策平臺。經(jīng)過一年的努力，智能決策平臺已經(jīng)借助大模型技術能夠達到很好地效果。但是，當前用戶仍然較多地使用語音、文字、APP與智慧家庭助手進行交互，視覺、觸覺等交互模態(tài)應用較少。因此，引入多模態(tài)聯(lián)合推理與決策提升智能感知+智能決策能力，有助于實現(xiàn)用戶與智能家電體驗全方位銜接。在智慧家庭大腦中，多模態(tài)是指集成和處理多種類型信息來源的能力，如視覺、聲音、觸覺、結構光等在內(nèi)的各種傳感器數(shù)據(jù)。其中包括攝像頭捕獲的圖像，麥克風接收的音頻，溫濕度傳感器、WiFi的數(shù)據(jù)等。通過合理整合和分析這些數(shù)據(jù)，智慧家庭大腦能更全面理解家庭環(huán)境的實際狀態(tài)，從而做出正確和高效的決策。在多模態(tài)信息處理上，關鍵是要實現(xiàn)各模態(tài)數(shù)據(jù)的高效融合。由于不同模態(tài)信息來源的數(shù)據(jù)特性各異，如圖像數(shù)據(jù)的特征以顏色、形狀為主，聲音數(shù)據(jù)以頻率、振幅為主等，如何均衡捕獲和利用各模態(tài)特性就成了問題的關鍵。通過深度學習等Al技術，可以建立有效的模態(tài)融合模型，實現(xiàn)跨模態(tài)特征表現(xiàn)的學習。在聯(lián)合推理中，我們利用處理過的多模態(tài)信息，基于邏輯推理、概率推理等方式進行分析，如：根據(jù)家中人員的移動軌跡推斷其行為模式，結合氣溫、濕度等環(huán)境條件推測其舒適度，通過聲音分析識別家中是否發(fā)生異在智慧家庭大腦中，計算機視覺、語音識別與理解和無線傳感網(wǎng)絡等多種信息獲取手段使得多模態(tài)聯(lián)合推理成為可能。在此基礎上，根據(jù)推理結果，系統(tǒng)能進行決策制定，如：系統(tǒng)可自動調(diào)整溫濕度，或提醒家中某處發(fā)生異常，再或是根據(jù)家庭成員習慣自動調(diào)整家庭日常生活服務等。綜上所述，多模態(tài)聯(lián)合推理與決策在智慧家庭中發(fā)揮著重要作用，能為用戶提供更為智能、個性化和舒適的家庭環(huán)境。在未來，隨著科技的不斷進步，多模態(tài)聯(lián)合推理與決策的應用將會更為廣泛。AI技術下內(nèi)容的安全性、可靠性、合規(guī)性與可信AI是大模型時代面臨最大的挑戰(zhàn)，也是技術可持續(xù)發(fā)展的基礎。AI具有強大的創(chuàng)作能力，可以為人們提供豐富的信息、娛樂和教育資源，同時也帶來了一些內(nèi)容安全和合規(guī)性的挑戰(zhàn)，如虛假信息、色情暴力、版權侵權、個人隱私等。因此，大模型內(nèi)容安全需要在模型的生命周期中，采取有效的技術和管理措施，保障內(nèi)容的真實性、合法性、道德性和可靠性，防止生成的內(nèi)容對社會和個人造成不良影響。為實現(xiàn)Al模型安全合規(guī)的目的，我們提出了大模型生成內(nèi)容安全的治理方法和安全審核架構：首先，在大模型的訓練和生成過程中，數(shù)據(jù)是關鍵的因素，影響著大模型內(nèi)容的質量和風險。因此，需要對數(shù)泄露等問題。其次，在大模型的研發(fā)和運營過程中，技術是支撐大模型內(nèi)容安全的基礎，決定著大模型的可靠性和可控性。因此，需要制定統(tǒng)一的技術規(guī)范，包括技術標準、技術指南、技術評估、技術認證等內(nèi)容，對大模型的技術方法、技術流程、技術結果、技術責任等方面進行規(guī)范、指導、評價和認證，提升大模型的技術水平和技術信任。通過建設內(nèi)容審核平臺，可以對用戶的輸入信息以及生成的內(nèi)容進行安全審核，確保人工智能生成的內(nèi)容應當淫穢色情信息，虛假信息，并采取措施防止出現(xiàn)種族、民族、信仰、國別、地域、性別、年齡、職業(yè)等歧視等所有內(nèi)容的生成和最終的輸出必須經(jīng)過嚴格的過濾。涉政涉黃價值觀宗教相關性歧視輸入信息拒絕攻擊隱私特征向量特征向量鷸圖12AIGC模型內(nèi)容安全的治理方法和安全審核架構在大模型的發(fā)布和傳播過程中，內(nèi)容是直接面向用戶的產(chǎn)品，決定著大模型的社會影響和用戶體驗。因此，需要建立完善的內(nèi)容審核機制，包括人工審核、機器審核、用戶舉報、社區(qū)治理等環(huán)節(jié)，對大模型內(nèi)容進行實時、全面、多維的監(jiān)測、評估、過濾和處置，防止大模型內(nèi)容的不良內(nèi)容、錯誤信息、敏感話題等問題。我們認為，大模型內(nèi)容安全將從單一的內(nèi)容審核向多元的內(nèi)容治理轉變，從被動的內(nèi)容過濾向主動的內(nèi)容優(yōu)化轉變，從局部的內(nèi)容管理向全局的內(nèi)容生態(tài)轉變，從技術驅動的內(nèi)容創(chuàng)造向價值導向的內(nèi)容創(chuàng)造轉變。大模型內(nèi)容安全還面臨著技術能力不足、數(shù)據(jù)資源不均、法律法規(guī)不完善、社會認知不高等問題，需要相關方共同參與、協(xié)作和負責，建立健全的大模型內(nèi)容安全體系，實現(xiàn)大模型內(nèi)容安全的目標。與大模型技術的突飛猛進形成鮮明對照的是，大模型仍面臨諸多潛在的安全風險。大模型在應用的過程中，可能會產(chǎn)生與人類價值觀不一致的輸出，如歧視言論、辱罵、違背倫理道德的內(nèi)容等，這種潛在的安全風險普遍存在于文本、圖像、語音和視頻等諸多應用場景中，并會隨著模型的大規(guī)模部署帶來日益嚴重的安全隱患，使得用戶無法信賴人工智能系統(tǒng)做出的決策。在沒有借助生成式人工智能技術的情況下，智能家電設備雖然也能與用戶交互，但回復給用戶的答案或用于控制家電的指令是經(jīng)過篩選的有限集合。而采用生成式大模型后是否會給出一些違反人類倫理道德的答案或者操作，是值得思考的問題。人工智能的目標是模擬、擴展和延伸人類智能，如果人工智能只是單純追求統(tǒng)計最優(yōu)解性”;相反，包含一些人類政治、倫理、道德等觀念的人工智能會表現(xiàn)得更像人、更容易被人所接受。事實上，為了解決人工智能面對敏感復雜問題的表現(xiàn)，開發(fā)者通常將包含著開發(fā)者所認為正確觀念的答案加入訓練過程，并通過強化學習等方式輸入到模型中，當模型掌握了這些觀念時，能夠產(chǎn)生更能被人接受的回答。然而，由于政治、倫理、道德等復雜問題往往沒有全世界通用的標準答案，符合某一區(qū)域、人群觀念判斷的人工智能，可能會與另一區(qū)域、人群在政治、倫理、道德等方面有較大差異。因此，使用內(nèi)嵌了違背我國社會共識以及公序良俗的人工智能，可能對我國網(wǎng)絡意識形態(tài)安全造成沖擊。偏見與歧視一方面，訓練大模型的數(shù)據(jù)是一定時間前的歷史數(shù)據(jù)，本身往往就具有倒退偏見，沒有及時反映后面發(fā)生的進步；另一方面，某些訓練數(shù)據(jù)本身就帶有人群歧視，而且有可能會被放大。>推動路徑在數(shù)據(jù)算法安全和倫理規(guī)范方面，需要從以下幾個方面推動：對于智慧家庭來講，在應用生成式人工智能技術的過程中，除了要滿足國內(nèi)外行業(yè)中的網(wǎng)絡安全、數(shù)據(jù)安全和個人信息保護等方面現(xiàn)有的法律法規(guī)和標準外，為應對生成式人工智能算法、數(shù)據(jù)使用等帶來的安全新挑戰(zhàn)，以促進生成式人工智能發(fā)展為基本目標，統(tǒng)籌發(fā)展和安全，亟需針對生成式人工智能的網(wǎng)絡安全問題、數(shù)據(jù)安全和隱私保護問題出臺專門標準，包括但不限于生成式人工智能訓練數(shù)據(jù)安全、人工標注過程安全等方面的標準規(guī)范?；谏鲜鼍W(wǎng)絡安全、數(shù)據(jù)安全和個人信息保護等方面的現(xiàn)有國內(nèi)外標準，結合生成式人工智能在智慧家庭的應開展行業(yè)比較測試，針對較好的應用開展行業(yè)示范，促進技術應用發(fā)展。人工智能治理攸關全人類命運，是世界各國面臨的共同課題。今年以來，全球多2023年11月1日，首屆全球人工智能(Al)安全峰會上，28國聯(lián)署關于人工智能國際治理的《布萊切利宣言》,這是全球第一份針對人工智能這一快速新興技術的國際性聲明?！缎浴饭膭钕嚓P行為者采取適當措施，如安全測試、評估等，以衡量、監(jiān)測和減輕Al潛在有害能力及其可能產(chǎn)生的影響，并提供透明度和問責制。呼吁各國根據(jù)風險制定基于風險的政策，包括制定適當?shù)脑u估指標、安全測試工具，以及發(fā)展研究。并決心支持建立一個具有國際包容性的前沿Al安全科學研究網(wǎng)絡，2023年6月，歐洲議會通過了《歐盟人工智能法案》授權草案，該法案如正式獲得批準，將成為全世界首部安全性”要求人工智能系統(tǒng)在開發(fā)和使用過程中盡量減少意外傷害，并具意第三方非法使用該系統(tǒng)或進行改變其使用方式或性能的行為。此外，該法案禁止通過中無針對性地提取面部圖像來建立或擴大面部識別數(shù)據(jù)庫，并禁止使用這種方式將人工智能系統(tǒng)投放市場使用。對于基于這些模型的生成型人工智能系統(tǒng)，法案要求遵守透明度要求，即必須披露內(nèi)容是由人工智能系統(tǒng)生成2023年10月30日，七國集團(G7)發(fā)布《開發(fā)先進人工智能系統(tǒng)組織的國際行為準則》。這套行為準則共包含11項內(nèi)容，強調(diào)了開發(fā)過程中應采取的措施，以確?？尚判?、安全性和保障性。其中，開減輕風險，包括紅隊測試和緩解措施。同時，開發(fā)人員還需要在部署后識別并減少漏洞和誤用模方和用戶發(fā)現(xiàn)并報告問題。此外，該準則還強調(diào)了開發(fā)和部署可靠的內(nèi)容身份驗證同年，也是10月30日，美國總統(tǒng)拜登正式發(fā)布《安全、可靠及可信賴的人工智能》行政命令，這是白宮有關生成式人工智能的首套監(jiān)管規(guī)定。該行政命令要求美國多個政府機構制定標準，對人工智能產(chǎn)品進行測試，尋求“水印”等內(nèi)容驗證的最佳方法，擬定網(wǎng)絡安全計劃，吸引技術人才，以保護隱私，促進公平和公民權利，維護消費者和勞動者的利益，促進創(chuàng)新和競爭，提升美國的領導地位等。同時，行政命令指出，通過建立檢測Al生成內(nèi)容和認證官方內(nèi)容的標準，從而保護美國用戶免受人工智能欺詐和欺騙。2023年10月18日，中央網(wǎng)信辦發(fā)布《全球人工智能治理倡議》,具體措施包括推動建立風險等級測試評估體系，實施敏捷治理，分類分級管理，快速有效響應。研發(fā)主體需要提高人工智能可解釋性和可預測性，提升數(shù)據(jù)真實性和準確性，確保人工智能始終處于人類控制之下，打造可審核、可監(jiān)督、可追溯、可信賴的人工智能技術。同時，積極發(fā)展用于人工智能治理的相關技術開發(fā)與應用，支持利用人工智能技術防范風險，提升治理能力。此外，倡議還強調(diào)逐步建立健全法律和規(guī)章制度，保障人工智能研發(fā)和應用中的個人隱私和數(shù)據(jù)安全，反對非法收集、竊取、篡改和泄露個人信息等行為。2023年7月13日，國家網(wǎng)信辦聯(lián)合國家有關部門公布《生成式人工智能服務管理暫行辦法》。要求有輿論屬性或者社會動員能力的生成式人工智能服務的，應當按照國家有關規(guī)定開展安全評估，并按照《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》履行算法備案和變更、注銷備案手續(xù)。根據(jù)各國法規(guī)，針對跨境類型的服務，需要遵守以下的基本要求：■遵守目標國家或地區(qū)的互聯(lián)網(wǎng)法律法規(guī)，包括數(shù)據(jù)安全、個人信息保護、知識產(chǎn)權、消費者權益等方面的規(guī)定。■了解目標國家或地區(qū)的文化、習慣、需求和偏好，尊重當?shù)氐膬r值觀和社會風俗，避免觸犯敏感或禁忌的內(nèi)容提供適合當?shù)厥袌龅姆??！鼋⒔∪珨?shù)據(jù)安全和個人信息保護的制度和措施，采取必要的技術手段，保障數(shù)據(jù)的安全和合法流動，防止數(shù)據(jù)的泄露、篡改、損毀或濫用。■獲取用戶的明確同意，告知用戶數(shù)據(jù)的收集、使用、存儲、轉移和刪除的目的、方式和范圍，尊重用戶的知情權和選擇權，保障用戶的隱私權和其他合法權益?！雠浜夏繕藝一虻貐^(qū)的監(jiān)管部門，按照法律法規(guī)的要求，提供必要的信息或協(xié)助，履行社會責任，處理用戶的投訴或糾紛。在智慧家庭場景下，需要解決交互系統(tǒng)中，超強的用戶意圖理解與訓練數(shù)據(jù)泛化以及模型可控性的問題：智慧家庭要求交互系統(tǒng)能在不同的場景和任務中靈活地應用和調(diào)整自己的策略和行為，以實現(xiàn)更自然、更智能、更人性化的交互體驗。具體來說，以往的交互系統(tǒng)主要是以有監(jiān)督學習建模為主導的交互系統(tǒng)(如以BERT為預訓練模型進行有監(jiān)督微調(diào))。受訓練標注數(shù)據(jù)量不足的影響，往往對自然交互中用戶指令的理解不夠準確。即針對多種泛化說法，原有系統(tǒng)難以理解用戶的準確意圖。同樣地，受訓練數(shù)據(jù)和先驗知識不足的影響，交互系統(tǒng)回復給用戶的生成語料也缺乏知識量和智能感。具體來說，以基于無監(jiān)督學習的大模型為主導的交互系統(tǒng)(如ChatGPT等),其在聊天領域擁有強泛化涌現(xiàn)能力的同時，受神經(jīng)網(wǎng)絡不可解釋性的天然因素影響，在智慧家庭等應用領域天然存在不穩(wěn)定、不安全等可控性差的問題，無法有效預估交互系統(tǒng)對用戶意圖的辨識情況，同時無法控制由模型生成的內(nèi)容。因此，這類系統(tǒng)下的交互行為往往存在不可預知的風險。另外，系統(tǒng)還存在大模型響應時長較為緩慢、某些特性信息無法單獨建模、以及不支持私有化部署等問題。為了提升交互系統(tǒng)中用戶意圖理解與訓練數(shù)據(jù)泛化能力與可控性，家庭大腦通過對在有監(jiān)督學習建模主導的可控性交互系統(tǒng)架構中，對耦合大模型進行多源特征處理、生成數(shù)據(jù)建庫索引，以及動態(tài)反饋等機制，解決自監(jiān)督學習大模型在調(diào)用過程中的輸出結果不可控、響應慢及私有化部署問題。在以智能交互過程中用戶意圖為GPT模型轉換目標，對原始語料自動進行轉換及解析，以解決可監(jiān)督BERT建模為主導的交互系統(tǒng)無法滿足用戶對交互系統(tǒng)中用戶意圖理解與訓練數(shù)據(jù)泛化的問題。此外，還解決了利用GPT技術實現(xiàn)半自動標注工具，解決了降本增效的技術問題。在之前的智慧家庭可控交互系統(tǒng)中，存在包括數(shù)據(jù)預處理、語義理解、上下文控制、對話策略管理、自然語言生成等多個功能節(jié)點。如下圖所示：faq-worker協(xié)議境信息交互環(huán)模板結束云系統(tǒng)系統(tǒng)信息境信息口家電上下文nlp云協(xié)議信息人望圖13智慧家庭可控性交互系統(tǒng)技術架構GPTGPT核心模型領域分類二次領域分類N是否屬于NHaier對話引擎(DialogEngine)上下文語義消歧設備管理設備類型消岐對話策略推薦loT設備列表接口Hyper結構領域分級·NLU泛化意圖解析依存句法分析領域分類實體識別對話行為識別領域管理自定義模板意圖管理上下文loT設備別名識別用戶原始Query對話狀態(tài)信息數(shù)樞迭代模型模板規(guī)則圖14多節(jié)點分布式耦合GPT技術架構此外，在上述多節(jié)點耦合過程中，通過構建分布式耦合并帶有反饋自學習的HyperGPT模型(Hy-per-StructureGPT模型),來實現(xiàn)在特征層面上的融合。在引導交互過程中，可用該模型由編碼器和解碼器組成。對于編碼器，首先輸入原始交互文本，并進行分層規(guī)范化(一種特征縮放技術，用于修改神經(jīng)網(wǎng)絡中層的輸入數(shù)據(jù)),然后進行多頭注意力操作，再輸入至層規(guī)范化和前饋網(wǎng)絡(一種人工層的輸出直接與后一層的輸入相加，從而構成了一種跨層連接的方式),得到編碼特征向量合并后的特征向量；對于解碼器，首先輸入合并后的特征向量，并進行層規(guī)范化和多頭注的層規(guī)范化結果進行前饋處理，得到各候選詞的預測概率分布，最后輸出各個候選詞的預測概率分布對應的詞(1)在自然語言理解(NaturalLanguageUnderstanding,NLU)領域分類的相關節(jié)點上，在編碼層進行特征融合時，通過自注意力機制將領域與原始query進行自學習，將其注意力計上，從而能夠更準確地提升該槽位(用戶表達意圖的句子中，用來準確表達該意圖的關鍵信息的標識，被稱為槽位)的識別效果，并為原始模型注入領域知識。(2)在命名實體識別(NamedEntityRecognition,NER)節(jié)點上，通過構建NERHyper模型來進行通用實體識別模型，來構建多節(jié)點耦合結構的應用實踐。通過利用上述特征和注意力機制，并引入條件隨機場(3)在句法分析節(jié)點上，通過構建句法分析Hyper模型來構建另一種多節(jié)點耦合結構的應用實踐。在該模綜上，通過構建帶有特征解耦的模型結構來對原有系統(tǒng)中各任務節(jié)點進行強化，即在可控的架構中，對各可此前的傳統(tǒng)語音交互中，存在體驗不自然、不流暢、不智慧等問題。具體來說，每次交互需要特定喚醒詞喚醒，無法自然流暢的連續(xù)交互；智能設備連續(xù)拾取的聲音中，無法有效拒識干擾音頻(如播音員新聞廣播等),影為解決以上問題，采用了基于多源跨領域建模的全雙工連續(xù)語音交互技術。針對不自然不流暢問題，基于跨領域全雙工連續(xù)語音交互能力，實現(xiàn)了多源信息聯(lián)合建模的自然語言理解拒識算法，并在全雙工智能冰箱落地。針對不流暢不智慧問題，基于HomeGPT交互引擎的分發(fā)決策、動態(tài)反饋、多路GPT模型耦合，緩存建庫檢索音頻音頻類別1類別2類別3文本對齊后殘差圖15基于音頻和文本多源聯(lián)合建模的拒識提出了基于音頻和文本多源聯(lián)合建模的拒識模型，既可以識別聲音來源是否有效，也可以合理，有效提升非正常語音請求的拒識精度。其中，多源拒識模型框架設計為開放式結構，未來可以接入更多數(shù)據(jù)源如溫濕度、人感、紅外、圖像等更多的模態(tài)信息，進一步提高模型精度。通過自研的提出了基于音頻和文本多源聯(lián)合建模的拒識模型。在該多源拒識模型結構中，多源特征融合模塊基于能量通過將音頻的特征向量和文本的特征向量分別輸入到各自的對齊網(wǎng)絡層，得到維度一致的兩個向量。使用上述多源建模跨領域全雙工連續(xù)語音交互系統(tǒng)，已在智能冰箱上進行了落地實踐，該系統(tǒng)的流程如下圖所用戶用戶終端Al調(diào)度服務ASRTTSNLP對話引擎全雙工意圖槽位音頻流音績數(shù)據(jù)圖16多源建?？珙I域全雙工連續(xù)語音交互系統(tǒng)此外，在數(shù)據(jù)標注任務上通過構建分布式耦合自動標注工具，實現(xiàn)了包括詞析、關鍵詞提取、知識解釋等自動標注功能，以及支持同向語義和反向語義的自動泛化能力。通過該自動標注工具，已提升數(shù)據(jù)標注工作和文本泛化的80%效能。自動標注adverbadjectiveinterjec狀語狀語主語狀語狀語請語詞性標注命名實體標注句法標注關鍵詞標注賓語賓語賓語武語HomeGPT賦能交互服務與場景的全面升級隨著智慧家庭領域的快速發(fā)展，用戶所需要的不再局限于簡單的遠程控制和為核心驅動力，將重塑智慧家庭AI,帶來不一樣的家庭生活體驗。大模型提升了智慧家庭設備和應用的可用性，帶來了全新的交互模式和豐富的用戶體驗，創(chuàng)造出更多想象空間。多模態(tài)大模型結合數(shù)字家庭知識庫可以幫助用戶構建出一個更加豐富、友好的交互方式，使大模型應用與人的交互過程無限趨近于人類自身的習慣。同時，多模態(tài)大模型還可以與VR/AR、元宇宙、AlAgent等技術體系或場景進一步融合，打造更深層、更多維、更豐滿的全新交互體驗。可以想象，在不久的將來，大模型采用數(shù)字家庭管家作為總控制端，采用接近自然對話和VR/AR的溝通方式，采用Multi-Agent等技術架構模擬家庭成員活動/模擬家庭空間場景/模擬家電控制關系，采用Sin-gle-Agent技術結合本地知識庫、本地傳感器、本地家電等落地用戶需要的服務，這將帶來完全不同與傳統(tǒng)APP或智能硬件的交互體驗。于機械化，用戶交互復雜，準確度低，而且對用戶的普通話水平以及指令的準確度有較高的要關閉電視等。而家庭內(nèi)在線語音識別的交互方式功能也較少，設備主要依提升。而大模型賦能之后，離線語音市場份額必將降低，而集成了大模型、語音識別、語音播用戶和設備的溝通更加人性化，降低對指令格式的要求，降低普通話標準程度的要將記錄人的行為、模擬人的性格、預測人的需求，這將大幅度降低智能化內(nèi)容接入的要求，配識庫和本地用戶歷史操作信息，語音識別的內(nèi)容將可大幅度擴展，擬人化程度更高，帶有語畫像，自動搜索并推薦用戶希望看的電影，并將電視打開并切換到電基本功能。但是隨著大模型的賦能，語音識別技術將告別這些指令型和搜索型的基本能力，而借助大模型“泛化”能力，自動根據(jù)用戶的習慣，進行主動服務，大幅度擴展應用場景。例如，當用戶想視劇時，只需要說出具體的影片名稱或者演員名稱，大模型就可以自動搜索并播放相應的影片或者電視劇。此外，大模型還可以學習用戶的影音偏好和習慣，提供個性化的影音、硬件協(xié)同、隨影音內(nèi)容推在大模型的加持下，多數(shù)智慧終端(如智能音箱、智能電視、智能手表、手機和平板等),均可升級成為具備支持基于上下文理解的自然交互功能的智能終端。升級后的智慧終端能夠根據(jù)用戶的語音庭環(huán)境和設備狀態(tài)，提供智能化的控制、管理和服務。即便是結時間、地點、天氣、交通等。環(huán)境上下文可以通過傳感器、攝物聯(lián)網(wǎng)等網(wǎng)絡獲取。環(huán)境上下文為智慧家庭提供適應性和智能化的服務，如根據(jù)室內(nèi)外溫差自好、習慣、情緒、目標、需求等。用戶上下文可以通過人臉識別、語音識別、生物識別、行為分析等技術獲取用戶身份，通過家電或者內(nèi)容服務中的歷史記錄，大模型自動給出用戶的用戶畫像。用戶上下性化和人性化的服務，如根據(jù)用戶的身份和喜好推薦節(jié)目、根據(jù)用戶的健康狀況和需求提供互內(nèi)容、交互歷史、交互結果等。交互上下文可以通過智慧家庭的平臺、終端、接口庭提供高效和友好的交互體驗，如根據(jù)交互設備的特點選擇合適的交互模式、根據(jù)交互內(nèi)容基基于Agent的AI大模型語言處理我想看個喜劇電影用戶主人，收到，請稍候…Al數(shù)字人豆備的狀態(tài)，以及外部的時間、天氣等信息。智慧家庭可以根據(jù)這些信息，自動調(diào)節(jié)設備的參數(shù)，如亮度、音量、色溫等，交互內(nèi)容提供相關的信息、根據(jù)用戶的交互歷史提供快捷的操作、根據(jù)用戶的交互結果提供滿意的服務等。>基于數(shù)字人應用的家庭管家專屬數(shù)字人時，人們可以投入更多的信任與情感，與傳統(tǒng)的終端交互設備相比，溝通更加便捷，交互效率也隨之提升。同時，人格化的數(shù)字人還能為用戶帶來獨一無二的情感關懷，可以更好地幫助用戶構建美好的家庭生活。圍繞智慧家庭場景，廠商正在打造多模態(tài)交互、具備家庭服務專業(yè)知識與技能，同時擁有情感交流與陪伴屬性的數(shù)字人。他們可以成為智慧家庭管家，幫助用戶管理家務，根據(jù)口味推薦健康菜譜，將模式，無論何時踏進家門，都無需操心瑣事，只用舒適享受。他們也可以作為母嬰管理專家，手把手教學，幫助孕期媽媽安全平穩(wěn)地度過每一天，指導新手父母進行嬰幼兒的撫育。當然，也可以成為用戶的健身教練、形象管圖19全屋智慧生活管家和智慧管家相處的越久，它就越“懂你”,會記得用戶的各種習慣和喜好，哪怕用戶對當下家庭內(nèi)娛樂教育場景市場很大，但是當前的內(nèi)容形式和主題相對單一，通常以兒童教育為主，缺乏針對不同年齡段、興趣愛好的多元化選擇?；有砸膊蛔悖捍蟛糠旨彝?nèi)娛樂教育內(nèi)容以大模型賦能之后，首先，可以根據(jù)用戶的興趣愛好、學習需求等因素，為用戶提供個性化的娛樂教育內(nèi)容推薦，提高用戶體驗。還可以運用自然語言處理等技術，開發(fā)出具有交互性的教育內(nèi)容，如智能問答、語音識別等，提高用戶的參與性和互動性。可以對用戶的學習過程和成果進行實時監(jiān)控和評估，為用戶其次，優(yōu)質的娛樂教育資源往往集中在一線城市和發(fā)達地區(qū)，而其他地區(qū)和欠發(fā)達地區(qū)的資源相對匱乏。大以互聯(lián)互通帶來的全屋智能基本上已經(jīng)覆蓋了，隨之而來的服務體驗，將隨著在A大模型不僅在于其可以實現(xiàn)全屋智能、智能控制等基本功能，更在于其可以實現(xiàn)大腦決策、模應用篇Al33Al智慧洗識別面料一鍵洗護千萬級云端洗護數(shù)據(jù)支持，多維度識別面料應用篇智慧集控使用無憂好空氣圖21全屋空氣管理——智慧舒適家系統(tǒng)：一句話定制好空氣，空調(diào)會根據(jù)用戶指令自動定位用戶所在地域、季節(jié)，結合室內(nèi)空氣質量狀況、使用人群，制定到不同地區(qū)、不同人群一年四季的空氣調(diào)節(jié)方案，自動進行空氣管理。智慧舒適家系統(tǒng)智慧舒適家系統(tǒng)一句話定制好空氣只需一句“小優(yōu)小優(yōu)，舒適家”,自動進行空氣決策與管理二圖22智慧舒適家系統(tǒng)家庭內(nèi)能源管理主要包括水電氣管理和光伏等清潔能源管理。在當前市場中，智能化所能帶來的功能還非常有限，主要原因在能源管理和人的生活息息相關，需要保證家庭成員的生活體驗，這就導致了一些常規(guī)化的智能手段很難奏效。大模型賦能后，將能夠更好地應對這些挑戰(zhàn)和問題。大模型以及通過大模型管理的家庭系統(tǒng)，更好地識別和處理復雜場景，提高水電氣的使用效率。例如，知道了家庭人員的生活習慣，提前設置冰箱制冷、熱水器設置、空調(diào)頻率調(diào)整等。還可以和外界能源生態(tài)打通，例如，獲取電網(wǎng)補貼，通過錯峰用電，調(diào)整用電，系統(tǒng)光伏和儲能手段。更好地適應用戶行為和環(huán)境因素，提高家電設定、燃氣使用的經(jīng)濟型、安全性和便捷性。還可以通過人臉識別和指紋識別技術，因人而異的提供個性化的能源服務。隨著人們生活水平的提高，對于健康養(yǎng)生服務需求增長迅速，尤其是中老年人、女性和兒童群體。而且健康市場細分日益明顯，家庭內(nèi)健康養(yǎng)生市場開始出現(xiàn)細分的趨勢，比如瑜伽、健身、營養(yǎng)食譜、睡眠等各個領域都有專門的市場。但是這個市場，因為人的體征參數(shù)和服務的內(nèi)容參數(shù)沒有做到很好的拉通，導致健康市場百花齊放，但是良莠不齊，更何況健康解決方案的試錯的成本很高，亟待科技改善。大模型在醫(yī)療領域的應用為智慧家庭的健康養(yǎng)生提供了全新的可能性。結合物聯(lián)網(wǎng)操作系統(tǒng)，融合分布式感知和多模態(tài)大模型，可以全方位檢測和分析家庭環(huán)境數(shù)據(jù)。比如智慧家庭系統(tǒng)可以實時監(jiān)測室內(nèi)空氣質量，通過大模型的深度學習能力準確識別并分析空氣質量，在檢測到空氣質量不佳時，可以自動觸發(fā)空氣凈化設備，提高室內(nèi)空氣質量。通過學習家庭成員的健康數(shù)據(jù)，可以為每個成員生成個性化的健康建議，甚至及時發(fā)現(xiàn)潛在的健康風險。結合大數(shù)據(jù)和知識圖譜，智慧家庭將成為家庭成員健康管理的智能助手。智慧家庭系統(tǒng)可以將健康信息展現(xiàn)在家電上(如智能電視或智能鏡子),能夠提供健康建議、疾病預防知識和定期健康檢查提醒。通過語音交互，家庭成員可以隨時獲取專業(yè)的健康咨詢，使智能家電成為家庭健康的個性化專業(yè)顧問。智能冰箱可以實現(xiàn)更為智能的食品管理。根據(jù)家庭成員的健康狀況和個性化的飲食需求，系統(tǒng)可以生成合理的飲食建議。冰箱內(nèi)置的攝像頭可以識別冰箱內(nèi)的食物，并提醒成員關注食材的新鮮度，能夠根據(jù)食材推薦菜譜，同時智能購物清單的生成也可以依托大模型的學習和生成能力，確保家庭購物更加健康、全面。全屋用水管理，通過家庭大腦屏，可以實現(xiàn)全屋水質監(jiān)測、水量統(tǒng)計，水質自潔、設備保養(yǎng)、濾芯更換等主動服務提醒，確保用戶用水健康。全屋照明全屋設備+定個提醒全屋速陽時間管理