Gen AI 新時代-采用邏輯數(shù)據(jù)管理-2024.08-11正式版

白皮書GenAI新時代：采用邏輯數(shù)據(jù)管理如果說2023年生成式人工智能(GenAI)被廣泛認為具有變潛力的一年，那么2024年往后將這種潛力成為現(xiàn)實的時代。實驗將讓位于業(yè)和財務(wù)價的實現(xiàn)。一些組織已經(jīng)開始意識到這一價，并通過降低成本、提高流程效率、創(chuàng)造收入和改多個行業(yè)的服務(wù)的形式，對價進行衡量（德勤人工智能研究所，2023年）。于有72%的受訪組織將數(shù)據(jù)管理視為實施人工智能應(yīng)用場景的關(guān)鍵求。遺憾的，許多組織仍在奮力實施這樣一個數(shù)據(jù)礎(chǔ)：能夠擴展GenAI所需的越來越多的數(shù)據(jù)和越來越大的數(shù)據(jù)量；使所有GenAI應(yīng)用和其他數(shù)據(jù)使用者都能夠?qū)崟r訪問其所需的數(shù)據(jù)，并以安全、符合隱私標準的方式訪問數(shù)據(jù)。然而，盡管存在這些數(shù)據(jù)管理方的挑戰(zhàn)，GenAI仍能帶來可觀的收益。行業(yè)領(lǐng)先的數(shù)據(jù)管理供應(yīng)已在其平臺中內(nèi)置了于GenAI的功能。這些功能可加快數(shù)據(jù)準備和使用，自動優(yōu)化性能和成本效益，并在不犧牲質(zhì)量或安全性的情況下，滿足業(yè)務(wù)不斷增長的數(shù)據(jù)需求。例如，Denodo平臺就一個領(lǐng)先的邏輯數(shù)據(jù)管理平臺，可在必時以所需的形式向所有使用者（包括GenAI）提供數(shù)據(jù)。這種方法抽象了GenAI和其他使用者對多個數(shù)據(jù)系統(tǒng)的訪問，隱藏了潛在的復(fù)雜性，時保證了數(shù)據(jù)的交付符合預(yù)定義的語義和數(shù)據(jù)治理規(guī)則。Denodo認識到GenAI在促進數(shù)據(jù)民主化方的變潛力。Denodo平臺不僅可以實現(xiàn)任務(wù)自動化，還可以為各種角色的用戶賦能，從最終用戶到開發(fā)人員，再到管理員和數(shù)據(jù)管理員等。在本意見書中，我們將深入探討以下幾點：1.GenAI在企業(yè)中的早期應(yīng)用場景和成功案例2.在企業(yè)中使用GenAI3.Denodo平臺如何應(yīng)對這些挑戰(zhàn)4.Denodo平臺如何利用GenAI?2024Denodo2企業(yè)中的生成式人工智能應(yīng)用場景或德勤人工智能研究所整理了六大行業(yè)最引人注目的60個GenAI應(yīng)用場景。最常見的示例包括了解您的客戶：GenAI可以匯總信息，為“了解您的客戶”(KYC)等流程提供深刻見解，并根據(jù)這些信息創(chuàng)建有針對性的個性化消息。營銷內(nèi)容助理：對于處理跨牌組合、采用多種語言的多個網(wǎng)站的組織來說，營銷內(nèi)容管理一項挑戰(zhàn)。為產(chǎn)描述、圖片、視頻和音頻等個性化的內(nèi)容創(chuàng)作分配時和資十分困難。與傳統(tǒng)工具相比，GenAI可提供更快、更一致的解決方案，幫助企業(yè)高效生成內(nèi)容。產(chǎn)品設(shè)計助理：產(chǎn)設(shè)計歷來需時，而眾多創(chuàng)意中只有一個能推向市場。克服人類在產(chǎn)生各種創(chuàng)意、激發(fā)跨行業(yè)靈感和簡化概念測試方的局限性困難重重。通過將GenAI與CAD及其他輔助軟件相結(jié)合，就可以加強型設(shè)計、增強創(chuàng)造性思維、集思廣益和促進突破傳統(tǒng)的想法。開發(fā)人員代碼輔助：開發(fā)人員和其他高技能專業(yè)人員的需求量很大，且供不應(yīng)求。為了克服人才缺口，GenAI可以用來輔助開發(fā)人員的工作，自動完成代碼創(chuàng)建和維護，這樣開發(fā)人員就可以專注于更復(fù)雜的代碼編寫。?2024Denodo3客戶支持有可能徹底改變客戶互動方式，它利用語音到文本和自然語言輸入來產(chǎn)生有理心的個性：GenAI化對話，特別在后支持和解決客戶訴方。資產(chǎn)維護計劃：在工業(yè)領(lǐng)域，維護計劃對于止設(shè)備故障和昂貴的維修費用、延長資產(chǎn)壽命至關(guān)重。GenAI可根據(jù)運營因素優(yōu)化時表，推薦高效、具有成本效益的計劃，時分析設(shè)備數(shù)據(jù)，以最大限度減少停機時和提高運轉(zhuǎn)率。工程師虛擬現(xiàn)場助理賦能的虛擬現(xiàn)場助理可以充當參考工具，快速訪問大量技術(shù)信息。除了提供相：GenAI關(guān)細節(jié)和引導工程師找到合適的資外，虛擬助理還可以解決特定工程概念、理或計方的問題，從而幫助排除故障。彈性物流和規(guī)劃可以幫助識別和模擬供應(yīng)鏈中的潛在中斷或風險。通過評估港口擁堵情況、運輸路：GenAI線和N級供應(yīng)映射，GenAI可用于預(yù)測風險及其對運營的相應(yīng)影響，也可以建議用來降低這些風險的行動。數(shù)字公民服務(wù)：有關(guān)政府和公共服務(wù)的數(shù)據(jù)通常采用多種格式，分布在多個位置（例如，本地、云端等）。GenAI賦能的虛擬助理可以充當公民和政府信息之的接口，用自然語言回答問題。?2024Denodo4企業(yè)應(yīng)用生成式人工智能臨的挑戰(zhàn)隨組織認識到GenAI的變潛力，他們開始資相關(guān)技術(shù)和能力，并嘗試初始應(yīng)用場景。但，他們很快就遇到了各種數(shù)據(jù)相關(guān)的問題。根據(jù)麥肯的受訪組織將數(shù)據(jù)管理視為錫（麥肯錫，2023年）的數(shù)據(jù)，有72%擴展人工智能應(yīng)用場景的關(guān)鍵挑戰(zhàn)。例如，使GenAI支持的客戶個性化服務(wù)安全有效，礎(chǔ)客戶數(shù)據(jù)必須準確、及時更新，并需跨多個不數(shù)據(jù)進行近乎實時的數(shù)據(jù)訪問。問題在于，GenAI依賴于大語言模型(LLM)，而這些模型本身存在局限性。LLM的智能程度取決于訓練它們的數(shù)據(jù)的智能程度。雖然LLM對歷史事件和所有文獻都有百科全書式的了解，但他們對貴組織卻一無所知，例如有關(guān)組織客戶、產(chǎn)或運營的細節(jié)，而且LLM的數(shù)據(jù)集也不會實時更新。如果不具備這一點，GenAI對任何需最新客戶或業(yè)務(wù)景的操作應(yīng)用場景都毫無用處。抱歉，我無權(quán)訪問有關(guān)產(chǎn)或銷的產(chǎn)雖然可以利用更多信息對現(xiàn)有礎(chǔ)模型進行訓練和微調(diào)，并使其了解企業(yè)數(shù)據(jù)和信息，但這種方法往往會帶來更多復(fù)雜性和挑戰(zhàn)。對于大多數(shù)組織來說，反復(fù)訓練LLM所需的成本和技能不僅令人望而卻步，還需讓LLM持續(xù)了解最新的數(shù)據(jù)和信息，這使得不斷反復(fù)訓練LLM的迭代過程在當今根本不切實際。?2024Denodo5此外，為了將公司信息這類知識嵌入模型，而用公司信息（可能敏感信息）訓練LLM也充滿險性，因為在未來的交互過程中，始終存在數(shù)據(jù)泄露的風險。精明的用戶可能會設(shè)計提示，來誘導泄露此類信息，即使模型經(jīng)過訓練可以識別敏感性；但這種訓練并不完美。好消息，一種新興的實施模式有望克服LLM的局限性，能以安全有效的方式在企業(yè)環(huán)境中提供其所需的知識。架構(gòu)，它很快成為一種以經(jīng)濟、安全的方Meta在2020年的一篇論文中首次提出了檢索增強生成(RAG)式利用其他數(shù)據(jù)和信息增強LLM的首選方法。檢索增強生成可以將實時更新的數(shù)據(jù)納入GenAI的結(jié)果中，但這仍然需一個全的數(shù)據(jù)管理解決方案來實時提供相關(guān)數(shù)據(jù)，時確保數(shù)據(jù)的質(zhì)量和隱私合規(guī)性。人工智能代理+企業(yè)數(shù)據(jù)和知識額大語言模型企業(yè)數(shù)據(jù)存儲庫在傳統(tǒng)的機器學習應(yīng)用場景中，數(shù)據(jù)在前期訓練過程中發(fā)揮至關(guān)重的作用，而GenAI和檢索增強生成正在改變這種模式，求數(shù)據(jù)在推理過程中扮演知識擴充層的角色。檢索增強生成架構(gòu)不通過反復(fù)訓練模型將知識注入LLM，而在提示過程中通過額外的上下文窗口添加知識。然后，LLM可以使用提供的其他上下文來生成必的響應(yīng)，而無需將這些知識嵌入LLM本身。檢索增強生成的優(yōu)勢包括減少幻覺，提供最新和實時的信息（克服根據(jù)“時點”數(shù)據(jù)訓練模型的局限性）；特定領(lǐng)域的知識（如上文所述的產(chǎn)銷示例）；消除成本高昂的反復(fù)訓練以及對檢索的數(shù)據(jù)來的可視性（福布斯，2023年）。這種簡單的方法可以應(yīng)用于結(jié)構(gòu)化和非結(jié)構(gòu)化信息，為LLM提供額外知識和信息的一種更靈活、更經(jīng)濟、更安全的方式。結(jié)合LLM強大的代碼生成功能（例如用于查詢底層企業(yè)數(shù)據(jù)的SQL），使用檢索增強生成的下一代AI應(yīng)用可為企業(yè)開辟新型的強大用戶交互方式和釋放數(shù)據(jù)價的新途徑。但，需必的數(shù)據(jù)管理礎(chǔ)才能在企業(yè)環(huán)境中實施檢索增強生成。雖然現(xiàn)在可以找到大量簡單的GitHub項目，且這些項目旨在證明檢索增強生成在桌設(shè)置中對于單個表的強大功能，但在企業(yè)環(huán)境中針對通常孤立、復(fù)雜的企業(yè)數(shù)據(jù)環(huán)境中的真實生產(chǎn)數(shù)據(jù)實施檢索增強生成架構(gòu)可能一場噩夢。隨組織探索LLM和企業(yè)數(shù)據(jù)之更緊密的集成，他們將不可避免地在克服數(shù)據(jù)孤島、處理各種數(shù)據(jù)類型以及管理復(fù)雜而冗長的數(shù)據(jù)交付管道方遇到樣的數(shù)據(jù)管理挑戰(zhàn)。?2024Denodo6具體來說，組織在采用GenAI時應(yīng)考慮以下數(shù)據(jù)管理挑戰(zhàn)：法規(guī)：新的法規(guī)、指南和框架正在迅速制定，旨在解決GenAI系統(tǒng)的運作和用于訓練這類系統(tǒng)的數(shù)據(jù)缺乏透明度、偏見和公平性、潛在的知識產(chǎn)權(quán)侵權(quán)、可能的隱私侵犯、第三方風險和安全顧慮等問題。新擬議的《歐盟人工智能法案》旨在為高風險的人工智能系統(tǒng)制定全的法規(guī)，對透明度、數(shù)據(jù)治理、人工監(jiān)督和風險評估提出具體求。美國總統(tǒng)布的人工智能《行政命令》確立了人工智能安全和保障的新標準，旨在保護美國人的隱私，促進公平和公民權(quán)利，維護使用者和工人的利益，促進創(chuàng)新和競爭等等。《韓國人工智能法案》旨在通過對高風險人工智能服務(wù)更嚴格的通知求和人工智能可信度認證系統(tǒng)等，確保人工智能系統(tǒng)的可信度，從而保護人工智能服務(wù)的用戶。其他地區(qū)的法規(guī)和指南提倡甚至強制求在數(shù)據(jù)收集中使用隱私增強技術(shù)，例如：新加坡提出的生成式人工智能模型人工智能治理框架。此外，這些法規(guī)還對GenAI結(jié)果的可審計性和可解釋性提出求。例如，《歐盟人工智能法案》求具有可審計性，確保GenAI沒有偏見，不會對使用者造成傷害，并向使用者說明在特定交互過程中使用GenAI（例如，披露他們正在交談的聊天機器人，或為他們生成的建議由GenAI所提供）。應(yīng)對此類審計，就必須能夠查GenAI在生成特定結(jié)果時使用了哪些數(shù)據(jù)，并確?？刂拼胧┑轿?，以監(jiān)控哪些GenAI應(yīng)用場景在何時使用了哪些數(shù)據(jù)。數(shù)據(jù)質(zhì)量和可解釋性：低質(zhì)量的數(shù)據(jù)可能導致不正確或不一致的行為，即“垃圾輸入，垃圾輸出”。無論是在LLM的模型訓練過程中，還隨后通過檢索增強生成實時訪問企業(yè)數(shù)據(jù)，都如此。由此產(chǎn)生的“幻覺”會導致最終用戶的不信任，而對于受人工智能使用道德規(guī)范約束的企業(yè)來說，則可能會違反合規(guī)性。因此，對數(shù)據(jù)質(zhì)量嚴格把關(guān)很必，但這還不夠。GenAI還需“數(shù)據(jù)可解釋性”，也即為生成結(jié)果訪問了哪些數(shù)據(jù)。這樣，GenAI用戶就能隨時確定所使用的數(shù)據(jù)否正確和準確，如果不正確，也能輕松采取補救措施。數(shù)據(jù)可解釋性提供了透明度，從而提高了最終用戶的信任度。事實上，上述一些法規(guī)，特別《歐盟人工智能法案》，求按需提供這種程度的透明度。數(shù)據(jù)隱私和安全：歐洲的《通用數(shù)據(jù)保護條例》(GDPR)等隱私法規(guī)仍然適用，但挑戰(zhàn)不僅限于確保正確的訪問控制和落實去標識化措施。GenAI帶來了額外的風險。下我們舉例說明GenAI模型如何帶來隱私風險。如果使用“JaneDoe”的私人數(shù)據(jù)來訓練模型，那么“我叫JaneDoe，我的電話號碼...”之類的提示可能會導致模型泄露這些信息（Seth&Chang，2024年）。眾所周知，模型會“記住”訓練數(shù)據(jù)，從而使問題變得更加復(fù)雜。有幾種類型的攻擊（如訓練數(shù)據(jù)提?。┮驯蛔C明會泄露LLM的敏感數(shù)據(jù)（Seth&Chang，2024）。上述所有人工智能法規(guī)都求組織采取控制措施，以降低發(fā)生此類侵犯隱私行為的風險。?2024Denodo7Denodo-如何應(yīng)對這些挑戰(zhàn)邏輯數(shù)據(jù)管理Denodo認為，組織必須發(fā)展和重新構(gòu)想數(shù)據(jù)管理，因為這種利害關(guān)系之重大前所未有的。組織必須立即采取行動，建立數(shù)據(jù)管理礎(chǔ)，為即將到來的人工智能驅(qū)動的新競爭格局做好準備。當您回顧推動下一代人工智能應(yīng)用所需的數(shù)據(jù)管理考慮因素時，我們認為合乎邏輯的數(shù)據(jù)管理方法推動下一代人工智能應(yīng)用的關(guān)鍵因素。Denodo平臺利用數(shù)據(jù)虛擬化技術(shù)，在增強人工智能應(yīng)用之前無需遷移或整合數(shù)據(jù)。它為人工智能應(yīng)用訪問集成數(shù)據(jù)提供了一個單一的整合網(wǎng)關(guān)，并帶來了許多其他關(guān)鍵優(yōu)勢，包括：■一個統(tǒng)一、安全的接入點，供LLM與所有企業(yè)數(shù)據(jù)[企業(yè)資規(guī)劃(ERP)、運營數(shù)據(jù)集市、企業(yè)數(shù)據(jù)倉庫(EDW)、應(yīng)用程序API]交互和查詢■一個豐富的語義層。為LLM提供所需的業(yè)務(wù)景和知識（如表格說明、業(yè)務(wù)定義、類別/標簽和樣本）?！隹焖俳桓哆壿嫈?shù)據(jù)視圖，這些視圖從底層技術(shù)數(shù)據(jù)視圖中解耦和抽象的（LLM可能難以使用）■提供便于LLM使用的寬邏輯表視圖，而無需先對多個數(shù)據(jù)集進行物理組合■內(nèi)置的查詢優(yōu)化功能使LLM無需處理特定的數(shù)據(jù)約束或優(yōu)化的連接策略。憑借這些優(yōu)勢，Denodo平臺成為了檢索增強生成的良好推動力。語義層使存儲在規(guī)范數(shù)據(jù)平臺中的數(shù)據(jù)能夠通過一個一致、安全的接口供GenAI應(yīng)用訪問。Denodo平臺還擁有必的元數(shù)據(jù)，可為GenAI應(yīng)用提供所需的信息，包括數(shù)據(jù)模式、帶有上下文信息的字段描述以及字段的業(yè)務(wù)名稱。大語言模型平臺數(shù)據(jù)虛擬化查詢優(yōu)化語義層安全/治理200+SaaS云存儲和OLAP文件應(yīng)用程序流式數(shù)據(jù)SaaSHadoopNoSQL數(shù)據(jù)適配器?2024Denodo8對于生成式人工智能應(yīng)用最關(guān)鍵的組件之一，即您的數(shù)據(jù)，Denodo平臺可成為單一的服務(wù)層。LLM和Denodo平臺相結(jié)合，可大大加快功能強大的人工智能代理的開發(fā)速度。Denodo平臺提供了以下附加功能，確保為GenAI數(shù)據(jù)質(zhì)量和使用情況監(jiān)控：Denodo平臺提供了一個龐大的轉(zhuǎn)換、過濾和匹配函數(shù)庫，以及用于驗證、理、豐富、標準化、匹配與合并數(shù)據(jù)的質(zhì)量規(guī)則，例如，條件處理、分區(qū)、用于重復(fù)數(shù)據(jù)刪除和理的模糊匹配法，以及于語法、義詞庫或語義映射。此外，Denodo平臺可持續(xù)監(jiān)控哪些數(shù)據(jù)在何時由誰訪問。對于通過檢索增強生成發(fā)起的每次GenAI查詢，Denodo平臺都會記錄查詢和返回的數(shù)據(jù)，從而提供隨時可解釋性和透明度。數(shù)據(jù)安全和隱私合規(guī)：作為應(yīng)用的單一數(shù)據(jù)接入點，Denodo平臺提供了一個中心層，用于強制執(zhí)行訪問安全限制，這些限制可根據(jù)具有字段級粒度的規(guī)范模型來定義。Denodo平臺支持于用戶和角色的身份驗證和授權(quán)機制，既有模式范的權(quán)限（如訪問Denodo數(shù)據(jù)庫和視圖），又有特定于數(shù)據(jù)的權(quán)限（如訪問虛擬視圖中的特定行或列）。Denodo平臺提供于行和于列的安全性，包括屏蔽特定字段的可能性（例如，不允許經(jīng)理查更高級別管理層的“工資”列，這些單元格將在結(jié)果中顯示為屏蔽）。這些功能使Denodo平臺非常適合為支持檢索增強生成的人工智能應(yīng)用實施數(shù)據(jù)安全，幫助組織滿足上述各種監(jiān)管求。LLM驅(qū)動的人工智能代理的潛力，需整個行業(yè)不斷發(fā)展技術(shù)和創(chuàng)新。Denodo正走在前沿，不斷發(fā)展我們的產(chǎn)，以滿足人工智能賦能的未來的需求。我們優(yōu)秀的產(chǎn)管理團隊會不斷監(jiān)控和評估人工智能和其他現(xiàn)代技術(shù)的最新進展，為數(shù)據(jù)管理打下更堅實的基礎(chǔ)。我們致力于幫助我們的客戶有效利用這些創(chuàng)新技術(shù)。?2024Denodo9GenAI如何增強數(shù)據(jù)管理GenAI還被用來改數(shù)據(jù)管理。它將極具價的自動化引入到容易出現(xiàn)人為錯誤的手動流程中。人工智能可以更高效、更準確地處理礎(chǔ)數(shù)據(jù)管理任務(wù)，而在此之前，這些任務(wù)都屬于勞動密集型，且容易出錯。Denodo已在Denodo平臺中實現(xiàn)了以下功能：自然語言查詢。任何用戶只需用自然語言輸入問題，平臺就會將其轉(zhuǎn)換為SQL代碼并執(zhí)行。這數(shù)據(jù)民主化邁出的一大步，能讓不懂SQL或業(yè)智能(BI)工具的業(yè)務(wù)專業(yè)人員也能從數(shù)據(jù)中獲得深刻見解。例如，銷售經(jīng)理可以使用日常用語查詢數(shù)據(jù)，例如，“我需美國所有首選客戶的姓名和電子郵件”。使用GenAI的數(shù)據(jù)平臺可以將自然語言查詢轉(zhuǎn)化為SQL代碼，甚至生成代碼的解釋。然后，數(shù)據(jù)平臺將執(zhí)行代碼并檢索結(jié)果。這對于分析師、營銷人員、銷人員、醫(yī)療保健專業(yè)人員等業(yè)務(wù)專業(yè)人