技術(shù)分享 | 欣威視通AIoT3588S-E智能主板部署DeepSeek-R1(1.5B)?大模型全流程解析

　　是一款國產(chǎn)領(lǐng)先的AI大模型，以其卓越的推理能力和高效的文本生成技術(shù)在全球人工智能領(lǐng)域嶄露頭角。DeepSeek的推出，標志著(zhù)國產(chǎn)AI大模型在技術(shù)自主創(chuàng )新和產(chǎn)業(yè)應用落地方面邁出了重要一步。

　　AIoT3588S-E智能主板基于Rockchip RK3588S芯片，成功實(shí)現DeepSeek大模型的高效移植與推理加速，為邊緣計算場(chǎng)景提供開(kāi)箱即用的AI解決方案。如何快速將AI大模型部署到嵌入式設備?本文從模型部署到效果測試，揭秘全流程操作指南。

01.

部署過(guò)程

DeepSeek+AIoT3588S-E

　　設備連接與遠程登錄

　　將AIoT3588S-E智能主板連接到顯示器，登錄后獲取IP地址，進(jìn)行SSH遠程登錄，以便進(jìn)一步管理和查看系統信息。

　　模型獲取與環(huán)境配置

　　下載預量化模型：DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm，更新系統軟件包列表，配置Python 3.8環(huán)境并安裝pip，安裝Git工具及編譯環(huán)境，以便代碼倉庫的克隆和管理。

　　獲取與編譯rkllm

　　下載好量化后的模型，在A(yíng)IoT3588S-E開(kāi)發(fā)板上git一下rkllm的倉庫【 rkllm倉庫地址】，修改編譯腳本，將編譯好的文件移動(dòng)到rkllm目錄下，便于后續管理與執行。

　　創(chuàng )建與運行腳本

　　進(jìn)入rkllm目錄，創(chuàng )建deepseek_start.sh腳本文件并賦權777權限，編輯該腳本并設置必要的環(huán)境變量并定義啟動(dòng)命令，執行該腳本來(lái)啟動(dòng)應用程序。

02.

性能測評

DeepSeek+AIoT3588S-E

　　在完成部署后，我們針對程序運行時(shí)對主板資源的占用情況進(jìn)行了測試與分析，總結了以下幾個(gè)關(guān)鍵數據：

　　CPU占用8%~27%。

　　程序執行期間，CPU的使用率穩定在8%到27%之間，該程序在處理任務(wù)時(shí)能夠有效利用系統資源，避免過(guò)度消耗。

　　內存占用2GB。

　　程序運行時(shí)，內存占用維持在2GB水平，反映出程序設計高效，在確保性能的同時(shí)，盡可能減少了對內存資源的需求，有助于提升整體穩定性及響應速度。

　　NPU占用：三個(gè)核心負載45%~51%。

　　NPU三個(gè)核心的負載介于45%至51%，程序在進(jìn)行特定計算任務(wù)時(shí)，能夠均衡地利用硬件加速資源，實(shí)現高效的并行處理能力。

03.

應用效果

DeepSeek+AIoT3588S-E

　　DeepSeek-R1 是一款全能型人工智能助手，憑借強大的數據處理能力和豐富的知識庫，支持多種場(chǎng)景下的高效應用，兼具快速響應與數據安全，是用戶(hù)探索與解決問(wèn)題的得力助手。在完成部署后，我們檢測了使用效果：

　　DeepSeek可以快速分析設備故障問(wèn)題，并給出技術(shù)支持的建議。

　　例如：AIoT3588S-E智能主板在啟動(dòng)時(shí)卡在Uboot階段時(shí)，如何通過(guò)串口日志定位問(wèn)題?

　　DeepSeek可以快速分析數學(xué)問(wèn)題，并按照指令生成答題過(guò)程。

　　例如：請用高斯消元法求解方程組：2x+y =5、3x-2y =8。

　　本文分享了在智能主板AIoT3588S-E上部署DeepSeek-R1(1.5B)的過(guò)程，經(jīng)過(guò)實(shí)際測試，其強大功能和高效表現得到了充分驗證。

　　“先進(jìn)算法+硬核算力”的協(xié)同模式，是國產(chǎn)AI生態(tài)從“實(shí)驗室”走向“生產(chǎn)線(xiàn)”的重要過(guò)程，為開(kāi)發(fā)者提供了一個(gè)即開(kāi)即用的創(chuàng )新平臺，為各行各業(yè)提供了更高效、更安全、更靈活的智能化解決方案。如果您對此感興趣，歡迎隨時(shí)咨詢(xún)，我們會(huì )提供更全面的技術(shù)支持，期待與您共同探索AI應用的無(wú)限可能。