地瓜機(jī)器人RDK系列部署生成式AI模型

地瓜機(jī)器人RDK系列部署生成式AI模型RDK系列產(chǎn)品介紹RDK上的模型部署RDK上LLM的技術(shù)選型RDK上LLM的實(shí)際效果演示01RDK系列產(chǎn)品介紹嵌入式嵌入式系統(tǒng)是一種專門設(shè)計(jì)用于特定任務(wù)的計(jì)算機(jī)系統(tǒng)。它通常被嵌入在另一個(gè)設(shè)備中，以控制、監(jiān)測(cè)或執(zhí)行某些特定功能。嵌入式系統(tǒng)通常包含一個(gè)或多個(gè)微處理器或微控制器，以及與其配套的硬件和軟件。嵌入式系統(tǒng)可以用于各種不同的應(yīng)用領(lǐng)域，例如汽車、家電、醫(yī)療設(shè)備、電子玩具、軍事設(shè)備等等。嵌入式系統(tǒng)通常需要滿足以下特定要求：實(shí)時(shí)性：嵌入式系統(tǒng)通常需要能夠在嚴(yán)格的時(shí)間限制下運(yùn)行?？煽啃裕河捎谇度胧较到y(tǒng)通常被嵌入到其他設(shè)備中，因此其穩(wěn)定性和可靠性非常重要。低功耗：嵌入式系統(tǒng)通常需要在低功耗模式下運(yùn)行，以便延長其電池壽命或降低功耗成本。低成本：嵌入式系統(tǒng)通常需要在成本可控的情況下設(shè)計(jì)和制造。智能音箱邊緣計(jì)算盒機(jī)器人智能會(huì)議智慧教育智能家居AIoT與通用機(jī)器人算法芯片工具鏈服務(wù)嵌入式產(chǎn)品介紹2022.6Compute：5TopsCPU：4×Cortex

A53

1.2GDDR：2/4

GBWi-Fi：2.4GRDK

X3Compute：5TopsCPU：4×Cortex

A53

1.5GDDR：2/4GBeMMC：16/32/64

GBWi-Fi：2.4G/5GRDKX3

ModuleCompute：10TopsCPU：8×Cortex

A55

1.5GGPU：32GflopsDDR：4/8

GBWi-Fi：2.4G/5G2023.5RDK

X5Compute：5TopsCPU：4×Cortex

A53

1.8GDDR：2/4

GBWi-Fi：2.4G/5GCertification：CE/FCC/MIC/KCRDKX3

v2.020252026Compute：>20

TopsRDK

？2023.7 2024.9RDK：RoboticsDeveloper

KitRDKX5

ModuleCompute：？CPU：？GPU+Audio

？DDR：？eMMC:

？Wi-Fi：？RDK系列RDK全稱為

Robotics

Developer

Kits，即地瓜機(jī)器人開發(fā)套件（RDK）是基于地瓜智能芯片打造的機(jī)器人開發(fā)者套件，包括RDK

X3、RDK

X3

Module、RDK

X5、RDK

X5

Module等。

搭配TogetheROS.Bot機(jī)器人中間件，RDK套件可以幫助開發(fā)者快速搭建機(jī)器人原型，開展評(píng)測(cè)和驗(yàn)證工作。40PIN最大化復(fù)用拓展4G/8G

RAM靈活選擇CAN

FD靈活連接機(jī)器人底盤和電機(jī)雙頻wifi

6

+

藍(lán)牙

5.4極速通信多標(biāo)準(zhǔn)兼容耳機(jī)

多模應(yīng)用天線模塊媲美棒狀天線TypeC供電

5V/5ARDK

X5RTC精準(zhǔn)時(shí)間同步TypeC閃連極速開發(fā)雙MIPI4-Lane雙目千兆網(wǎng)口支持POE供電Debug串口便捷調(diào)試HDMI更好兼容常見數(shù)據(jù)線

USB3*

4全高速通信公版模型尺寸類別數(shù)參數(shù)量BPU延遲BPU吞吐量后處理時(shí)間Yolov8n640x640803.2

M5.6

ms263.6

FPS5

msYolov8s640x6408011.2

M12.4

ms194.9

FPS5

msYolov8m640x6408025.9

M29.9

ms35.7

FPS5

msYolov8x640x6408068.2

M90

ms11.2

FPS5

msYolov10n640x640806.7

G9.3

ms132.7

FPS4.5

msYolov10s640x6408021.6

G15.8

ms71.0

FPS4.5

msYolov10m640x6408059.1

G30.8

ms34.5

FPS4.5

msRDK

X502RDK上的模型部署人工智能演變史自然語言處理自然語言處理是一種人工智能領(lǐng)域，旨在使計(jì)算機(jī)能夠像人類一樣理解和生成自然語言文本。自然語言處理的研究主要關(guān)注如何使計(jì)算機(jī)理解和處理人類語言，并從中提取有用的信息或生成符合語境的語言輸出。自然語言處理涉及到很多不同的任務(wù)，包括文本分類、情感分析、機(jī)器翻譯、自動(dòng)摘要、問答系統(tǒng)、命名實(shí)體識(shí)別、語言生成等。大語言模型（LLM）傳統(tǒng)語言模型的劣勢(shì)在于：局限于某一領(lǐng)域的知識(shí)

、泛化能力差難以遷移、上下問理解有限基于transformer的大語言模型：基于海量（基本全互聯(lián)網(wǎng)）數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。對(duì)于特定場(chǎng)景的任務(wù)，只需微調(diào)適應(yīng)常見：ChatGPT、文心一言、Llama、Baichuan2、同義千問等地瓜工具鏈問題定義數(shù)據(jù)準(zhǔn)備模型選擇/開發(fā)模型訓(xùn)練與調(diào)優(yōu)模型量化部署分析現(xiàn)實(shí)問題影響算法的選擇、模型的評(píng)估、投入的成本選用合適的模型尋找或編寫對(duì)應(yīng)的模型代碼減少訓(xùn)練好的模型計(jì)算和儲(chǔ)存需要的技術(shù)定義數(shù)據(jù)范圍：適配任務(wù)需求數(shù)據(jù)獲?。合螺d，清洗數(shù)據(jù)預(yù)處理：預(yù)處理、增強(qiáng)數(shù)據(jù)集定義和切分：訓(xùn)練、評(píng)估、測(cè)試使用數(shù)據(jù)集在模型中訓(xùn)練圍繞業(yè)務(wù)需求對(duì)模型目標(biāo)調(diào)優(yōu)模型存儲(chǔ)、導(dǎo)出、推理服務(wù)的部署系統(tǒng)對(duì)接、指標(biāo)監(jiān)控地瓜工具鏈地瓜工具鏈Model

Zoo以圖搜圖目標(biāo)檢測(cè)/D-Robotics/rdk_model_zoo/tree/main實(shí)例分割圖像分類03RDK上LLM技術(shù)選型LLM類別大語言模型（Large

Language

Model,

LLM）主要分為兩類：基于transformer的模型和基于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的模型。Transformer是近年來非常流行的一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，它在自然語言處理（NLP）任務(wù)中取得了巨大的成功。Transformer依賴于“注意力機(jī)制”（Attention

Mechanism）來處理輸入數(shù)據(jù)，從而更好地理解句子中各個(gè)詞之間的關(guān)系。RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）是一類適用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。RNN通過“循環(huán)”的方式在時(shí)間步之間共享信息，因此非常適合處理像文本和語音這類序列數(shù)據(jù)。早期的語言模型大多基于RNN及其改進(jìn)版本（如LSTM和GRU）。RWKV語言模型RWKV模型在架構(gòu)上繼承了Transformer的思想，但在具體的實(shí)現(xiàn)上做了一些重要的改進(jìn)，這些改進(jìn)主要體現(xiàn)在Time

Mixing和Channel

Mixing兩個(gè)方面Time

Mixing:

與Transformer中的自注意力機(jī)制不同，rwkv模型引入了時(shí)間混合（TimeMixing）機(jī)制。這種機(jī)制關(guān)注序列數(shù)據(jù)中時(shí)間步之間的依賴關(guān)系，通過時(shí)間混合層來捕捉時(shí)間序列中的長期依賴性。Time

Mixing通過加權(quán)平均和非線性變換的方式，將不同時(shí)間步的信息進(jìn)行整合，確保模型能夠有效捕捉序列的全局和局部信息。Channel

Mixing:

Channel

Mixing則是對(duì)序列中不同特征通道的處理。在Transformer中，特征通道的混合主要通過多頭自注意力和前饋神經(jīng)網(wǎng)絡(luò)來完成，而在rwkv模型中，Channel

Mixing采用了一種更加高效的方式。通過一系列的線性變換和激活函數(shù)來對(duì)通道信息進(jìn)行融合。這種方法不僅減少了計(jì)算復(fù)雜度，還保持了模型的表達(dá)能力，使其能夠在處理大規(guī)模數(shù)據(jù)時(shí)更加高效。RWKV語言模型可解釋性強(qiáng)類似RNN，每次推理內(nèi)部有固定大小的state，即上下文信息向量高效訓(xùn)練高效并行訓(xùn)練，訓(xùn)練速度與上下文長度無關(guān)O(T)推理速度線性時(shí)間復(fù)雜度O(T)，即與RNN