时间: 2025-07-04 09:52:18 来源: shn.xyethdzxyey.org.cn 作者: 百科
1 DeepSeek在端侧设备的瑞萨运用场景 。
DeepSeek大言语模型(LLM)可用于了解人类言语的渠道交互方法,考虑,支撑并给出适宜的布置版回应。一起,离线经过结合RAG(Retrieval-Augmented Genera。瑞萨ti 。渠道on ,支撑检索增强生成)技能,布置版能够从用户定制常识数据库检索信息,离线将其作为提示输入给LLM,瑞萨LLM经过将这些额定的渠道常识与自己的言语技能相结合,能够编撰更精确、支撑更具时效性且更贴合详细需求的布置版文字 ,供给面向某个详细范畴的离线专业应对。在。AI 。概念和端侧 。AI技能 。炽热的当下,瑞萨 。半导体。推出的面向端侧AI运用的高性能MPU ,也能够布置DeepSeek-R1模型。在咱们料想的运用场景中,咱们能够在布置了DeepSeek-R1模型和RAG定制数据库的瑞萨MPU电路板上 ,在不联网的状况下 ,完结如下运用 :
为此 ,咱们在瑞萨定坐落AI运用的MPU芯片RZ/V2H,适配了DeepSeek-R1:1.5B的LLM模型,以支撑这些潜在的AI运用。
2 瑞萨RZ/V2H硬件渠道简介。
在演示用例中 ,运用瑞萨官方的RZ/V2H-EVK开发板 ,如图1所示。
图1 瑞萨官方RZ/V2H-EVK开发板。
板载丰厚的外扩资源,如图2所示。
图2 RZ/V2H-EVK开发板板载资源。
关于RZ/V2H-EVK开发板的更多概况,可拜访瑞萨官网产品主页:(您可仿制下方链接至浏览器检查)。
RZ/V2H-EVK - RZ/V2H四核视觉AI MPU评测套件 | Rene。sas 。瑞萨电子。
https://www.renesas.cn/zh/products/microcontrolle 。rs。-microprocessors/rz-mpus/rzv2h-evk-rzv2h-quad-core-vision-ai-mpu-evaluation-kit。
其间 ,RZ/V2H集成了7个。处理器。中心 ,分别是4个Cortex-A551.8GHz,2个Cortex-R8800MHz,1个Cortex-M33200MHz,一起还集成了瑞萨自主研制的AI核算专用加快引擎DRP-AI3和图画核算加快引擎DRP ,有体系框图 ,如图3所示 。
图3 RZ/V2H处理器体系框图。
3 下载、装备和发动DeepSeek-R1。
RZ/V2H-EVK开发板现已适配了Yocto。 Linux 。操作体系 。,在此基础上 ,运用Ollama官方引荐的方法 ,能够完结布置并运转DeepSeek-R1大模型。
运用能够联通外部网络的路由器,用网线将RZ/V2H-EVK电路板和PC连起来 ,保证RZ/V2H-EVK电路板和电脑能够联网,并可相互拜访 。对RZ-V2H-EVK电路板的装备作业,将经过电脑完结。
在电脑上 ,经过 。Te。ra Term东西(或许其它SSH东西)连接到开发板。在终端中 ,运用脚本装置并发动Ollama服务:
经过Ollama发动DeepSeek-R1模型。留意,在第一次运转指令时,会自行下载DeepSeek-R1模型文件。在此过程中,需求保证联网状况杰出 。
下载完结之后,自行发动DeepSeek-R1模型。后续运转这个指令载入模型时,就不需求联网了 。
载入模型成功后
,能够看到指令行中有提示信息“Send a message(/? for help)”
。此刻,能够向运转在RZ/V2H-EVK电路板上的离线版DeepSeek提问了 。
图4 在RZ/V2H上发动DeepSeek-R1。
4 运转演示。
在发动DeepSeek-R1后,咱们问了第一个问题"介绍一下你自己",接下来,请看RZ/V2H-EVK电路板的反响 :
https://mp.weixin.qq.com/s/y61pMJCA1Vw5t7YK4OO5Jw
。
从。视频。中能够看到 ,DeepSeek-R1大模型现已成功运转在RZ/V2H-EVK电路板上