JetPack SDK | NVIDIA Developer
操作系统
NVIDIA L4T 提供引导加载程序、Linux 内核、必要固件、NVIDIA 驱动、示例文件系统等内容。
JetPack 4.4 Highlights 包含具有以下亮点的 L4T 32.4.3:
- 支持使用 Debian 包管理工具升级 JetPack 和 L4T
- 支持用于 Jetson AGX Xavier 和 Jetson Xavier NX 的通用时间戳引擎 (GTE)
- 通过 actmon 提供用于视频图像合成器 (VIC) 的动态频率调整 (DFS) 支持
- 包含 SE(安全引擎)示例,可用于展示 Jetson TX2 系列、Jetson AGX Xavier 和 Jetson Xavier NX 模块上由硬件支持的身份验证和加密功能
- 包含同时融合多个 Jetson 模块的实用程序
- 在初次启动 Jetson Xavier NX 和 Jetson Nano 开发者套件并进行初始配置期间,提供在 microSD 卡上指定应用分区大小的选项
- 支持 Vulkan 1.2
TensorRT
TensorRT 是用于图像分类、分割和物体检测神经网络的高性能深度学习推理运行时。TensorRT 依托于 CUDA 而构建,是 NVIDIA 的并行编程模型,支持优化各种深度学习框架的推理过程。它包含深度学习推理优化器和运行环境,可让深度学习推理应用实现低延迟和高吞吐量。
JetPack 4.4 包含具有以下亮点的 TensorRT 7.1.3:
- 新层级和操作符
- 混合精度推理支持
- 循环结构支持
- 量化模型支持
- 布尔张量支持
- 空张量支持
- INT8 校准支持(含动态形状支持)
- 含动态形状支持的 ONNX 解析器
cuDNN
CUDA 深度神经网络库为深度学习框架提供了高性能基元。它可大幅优化标准例程(例如用于前向传播和反向传播的卷积层、池化层、归一化层和激活层)的实施。
JetPack 4.4 包含具有以下亮点的 cuDNN 8.0:
- cuDNN 现已分为多个训练和推理库
CUDA
CUDA 工具包为 C 和 C++ 开发人员构建 GPU 加速应用提供了全面的开发环境。该工具包中包括一个针对 NVIDIA GPU 的编译器、多个数学库,以及多款用于调试和优化应用性能的工具。
JetPack 4.4 包含具有以下亮点的 CUDA 10.2:
- CUDA 内核的启动延迟缩短 50%,从而提高了 GPU 利用率并降低了 CPU 占用率。
多媒体 API
Jetson 多媒体 API 包提供了低层级的 API,有助于实现灵活的应用开发。
摄像头应用 API:Libargus 为摄像头应用提供了低层级的帧同步 API,同时还提供了逐帧摄像头参数控制、多个(包含已同步的摄像头)摄像头支持以及 EGL 流输出。需要 ISP 的 RAW 输出 CSI 摄像头可与 Libargus 或 GStreamer 插件配合使用。这两种情况下都会使用 V4L2 媒体控制器传感器驱动 API。
传感器驱动 API:V4L2 API 支持视频解码、编码、格式转换和缩放功能。用于编码的 V4L2 开启了多项功能,如比特率控制、质量预设、低延迟编码、临时折衷、运动矢量图等。
计算机视觉
VisionWorks 是一个用于计算机视觉 (CV) 和图像处理的软件开发包。
OpenCV 是一个领先的开源库,用于计算机视觉、图像处理和机器学习。
VPI(视觉编程接口)1 是一个软件库,提供可在 PVA2(可编程视觉加速器)、GPU 和 CPU 上实现的计算机视觉或图像处理算法
JetPack 4.4 包含具有以下亮点的 VPI 0.3:
- 在 VIC(仅限 AGX Xavier 和 Xavier NX)和 GPU 上支持时域降噪
- 在 VIC(仅限 AGX Xavier 和 Xavier NX)上支持失真校正
- 在 VIC(仅限 AGX Xavier 和 Xavier NX)上支持透视变形
全新算法
JetPack 4.4 自带 OpenCV 4.1.1
JetPack 4.4 自带 Visionworks 1.6
1VPI 目前提供开发者预览版本
2PVA 仅在 Jetson AGX Xavier 系列和 Jetson Xavier NX 上提供
开发者工具
CUDA 工具包为 C 和 C++ 开发者利用 CUDA 库构建高性能 GPU 加速应用提供了全面的开发环境。该工具包中包括 Nsight Eclipse Edition、含 Nsight Compute 在内的调试和分析工具,以及用于交叉编译应用的工具链。
NVIDIA Nsight Systems 是一款开销较低的系统级分析工具,可提供开发者分析和优化软件性能所需的见解。
NVIDIA Nsight Graphics 是一款独立应用,用于调试和分析图形应用。
JetPack 4.4 包含具有以下亮点的 NVIDIA Nsight Systems 2020.2:
- 已增强数据分析功能,且可选择导出到 SQLite、HDF5 或 JSON
- 支持对 Xavier PMU 扩展程序采样
- 减少了 NVTX 开销
- 已添加全新 CLI 支持,可利用间歇性网络连接在设备上开展分析
JetPack 4.4 包含具有以下亮点的 NVIDIA Nsight Graphics 2020.1:
- 支持保存和加载自定义命名的布局
- 已改进事件视图显示和筛选功能
- 已增强对混合式 DPI 显示器缩放的支持
- 支持新的 Vulkan 扩展程序
支持的 SDK 和工具
PowerEstimator 是一款网络应用,可以简化自定义功耗模式配置文件的创建并估算 Jetson 模块功耗。
JetPack 4.4 支持 PowerEstimator
Deepstream SDK 是一套完整的分析工具包,可用于基于 AI 的多传感器处理以及视频和图像理解。
JetPack 4.4 支持 DeepStream 5.0 一般可用版本
- DeepStream 5.0 开发者预览版本仅受 JetPack 4.4 开发者预览版本支持。