[RK3576] Rknn和Rkllm的Runtime下载

发表于2025-12-10|更新于2026-04-27|RK3576与模型部署

|浏览量:

rknnrt

首先，进入官方仓库https://github.com/airockchip/rknn-toolkit2

在仓库中寻找对应的文件，路径为: rknpu2/runtime/Linux/librknn_api/aarch64/librknnrt.so
rknpu2/runtime/Linux/rknn_server/aarch64/usr/bin/rknn_server

可以直接用开发板上系统下载这两个文件；
如图所示
如果在开发板上下载好以后，大概率出现在下载文件夹，如果是从其他设备拷贝过来也没有关系，我们进入这两个文件的目录，在这里打开终端，我们使用linux中的mv命令来将这两个文件迁移到它应该在的位置。
我们需要将librknnrt.so这一个文件放在/usr/lib路径下，将rknn_server这个文件放在/usr/bin

rkllmrt

对于rkllm运行时的下载和使用，将放在下一个文档中解释；

文章作者: Eisem

文章链接: http://example.com/2025/12/10/rk3576%E5%BC%80%E5%8F%91%E6%9D%BF%E4%B8%8E%E5%9B%BD%E4%BA%A7%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2/rknn%E5%92%8Crkllm%E7%9A%84runtime%E4%B8%8B%E8%BD%BD/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Welcome To My-Blog！

RK3576 嵌入式 ARM RKLLM RKNN

相关推荐

[RK3576] RKLLM模型的使用

参考文档地址：rknn-llm/doc/Rockchip_RKLLM_SDK_CN_1.2.3.pdf at main · airockchip/rknn-llm官方仓库地址：Airockchip/RKNN-LLM --- airockchip/rknn-llm 开发板驱动版本确认首先输入：1dmesg | grep -i npu这一行命令用于判断系统能否识别rk3576的NPU，接下来，为了确保能够使用rkllm模型继续推理，我们还需要保证NPU驱动版本>=0.9.8，驱动版本检查命令如下：1cat /sys/kernel/debug/rknpu/version 模型转换由于模型转换部分不是由我负责，所以本章节不做讲解，先假设我们已经转换好了rkllm模型，将Qwen.rkllm 从转换用的PC上拷贝到开发板的某个目录备用。 PC上的编程，编译为了在开发板上调用我们的rkllm模型，我们选择在一台X86...

[RK3576] NFS共享文件系统配置

在我频繁使用windowsPC，X86虚拟机Ubuntu和开发板arm64的Linux系统的过程中，我发现文件传输极其麻烦，当我需要调试一个c语言程序的时候，需要将开发板系统生成的core文件多次拷贝到虚拟机系统中进行调试。另外，当需要下载一些模型文件的时候，开发板的网速往往不够，下载速度缓慢。在询问AI后，我得到了可以使用VMware共享文件夹和NFS共享文件目录的方法，让这三个不同环境的设备都能同时访问这个文件夹，从而实现高效的文件交换。打通三设备网络为了让虚拟机，物理机，开发板的三个系统处于同一个网段，我们需要设置虚拟机网络桥接到wifi网卡上，检查宿主机网卡设置在网络中心中，找到当前在使用的网卡，确保VMware Bridge Protocol这个选项是勾选的虚拟网络编辑器首先打开虚拟网络编辑器，...

[RK3576] 系统检查与必要工具下载

1.检查系统是否能识别NPU驱动要判断开发板能否调用rk3576的NPU进行推理，首先要看系统内核中是否有集成瑞芯微的NPU驱动，在系统终端中，输入以下命令：1demsg | grep -i rknpu如果在输出信息中显示了RKNPU的相关信息，如驱动版本，初始化成功等，就说明内核已支持NPU。如果没有任何输出，则需要考虑更新至支持NPU的系统版本。 2. 必要的工具下载在部署模型的过程中安装 Python 包时，pip 试图从源代码构建 ruamel.yaml.clib 这个依赖项，但当前环境缺少必要的构建工具或依赖库，会导致编译失败，所以需要安装以下两部分内容 1.安装系统级依赖ruamel.yaml.clib 是一个 C 扩展，编译它需要系统的 C/C++ 编译器和开发库。在基于 Debian/Ubuntu 的系统（如现在使用的麒麟系统）上，可以通过 apt 命令一键安装这些基础构建工具。请在终端执行以下命令：12sudo apt updatesudo apt install build-essential python3-devbuild-essential：包含了...

[RK3576] Ollama模型部署

整体思路：x86 Ubuntu 虚拟机安装 Ollama 并下载模型 → 通过 NFS 共享迁移至 ARM64 麒麟开发板 → 实现本地大模型调用。这么操作的原因：开发板下载安装Ollama服务的网速尚可，但是下载模型时网速很慢，经常会出现因为网络波动而停止下载的问题，所以我们使用X86 Ubuntu虚拟机的Ollama结合科学上网来加速模型下载，然后通过NFS文件共享来将模型文件传输到开发板上，通过开发板下载的ollama服务来启用。 X86虚拟机端 Ollama 安装与模型下载执行官方一键安装脚本1 curl -fsSL https://ollama.com/install.sh | sh 下载目标模型（以千问1.5B为例）1ollama pull qwen2.5:1.5b 验证模型是否下载成功1ollama list 接下来，我们需要找到下载的模型文件，然后将模型文件放在NFS的共享文件夹内；此阶段遇到的核心问题问题1：在共享文件夹/用户目录~/.ollama/找不到模型文件原因：Ollama...

[树莓派] 1. 烧录KylinOS到MicroSD卡

这一步是部署kylin的第一步，本人在这一步踩了一个巨坑：下载错系统版本，浪费了巨量时间。工具准备： microSD卡（高速，容量不用很大，32GB-64GB够用即可）一个USB读卡器启动盘制作工具安装首先，下载树莓派官方的启动盘制作工具：Raspberry Pi ImagerRaspberry Pi software – Raspberry Pi找到自己电脑对应的版本，安装并启动，显示如下界面： openkylin系统镜像下载进入openkylin系统镜像下载官网：openKylin开源操作系统官网界面如下图：如果你是树莓派4/4B，请不要下载右边的RaspberryPI版本，这是提供给树莓派5的系统，我们要点击下面的历史版本，找到最新的没有标注rasp5的arm64版本下载这一个版本即可等待下载后，我们得到了一个.xz 文件，这就是系统镜像的压缩包，无需手动解压，Raspberry PI Imager会自己解压读取里面的内容系统烧录将SD卡插入到电脑，在Raspberry PI...

[树莓派] 2. 首次启动与连接网络

本笔记介绍的方法只适用于用网线直接连接树莓派和电脑，也许对使用WIFI连接有启发作用。工具准备一根网线可以供电的type-C线已经烧录好系统的SD卡 micro-HDMI线，用于连接到显示器硬件连接将SD卡插入树莓派。将Type-C供电接口插入树莓派将网线插入树莓派以太网接口硬件连接完成首次启动由于作者用的是一张大容量低速卡，首次启动需要等待的时间很长，建议第一次插卡后观察电源附近ACT小灯，如果疯狂闪光并且持续一段时间说明成功概率很大，需要耐心等待。接下来，你可以进行电脑侧的网络配置，在配置完以后，就可以监测系统的运行状态。电脑网络设置打开电脑网络连接设置(输入win+R，然后输入ncpa.cpl). 找到现在电脑正在使用的网络（可上网的那个），右键，选择”属性“->”共享“ 勾选“允许其他网络用户...”，并在下拉菜单中选择“以太网”。最后记得点击确定监测运行状态为了获取树莓派的IP，我们需要下载IP扫描软件 Advanced IP Scanner 扫描 192.168.137.1-254 网段。Advanced IP...

评论