在上一篇文章《AI 大模型模型部署系列（一）：从 Prompt 到 Token，理解 llama.cpp 最小推理》中，我们梳理了 Model、Context、Batch、Decode 和 KV Cache 之间的数据流：Prompt 经过 Tokenize 进入模型，Decode 完成计算并将 Logits 保存到 Context。但到这里，模型还没有真正决定下一个 Token。 从 Logit

将大模型接入 C++ 应用时，“模型能够运行”只是部署链路的起点。要进一步分析推理性能、显存占用和生成行为，需要先明确输入数据如何进入模型，以及 Model、Context、Batch、Sampler 和 KV Cache 分别承担什么职责。 本文以 llama.cpp 的最小示例 examples/simple/simple.cpp 为入口，从工程调用链的角度拆解一段 Prompt 生成 Tok

CUDA系列二、CUDA图像标准化一、概述在上一篇文章CUDA系列一、CUDA简介中我们对CUDA进行了介绍，了解到CUDA能让开发者利用GPU的强大算力进行大规模的并行计算，在本篇文章中将介绍如何使用CUDA进行图像标准化。 图像标准化在视觉领域内有广泛的应用，通过标准化能使图像数据有更稳定的分布，从而提高模型的训练效果和泛化能力，所以在图像相关的模型部署过程中，图像标准化通常是模型预处理的第一

CUDA系列一、CUDA简介一、概述本人由于工作中经常使用CUDA进行数据处理，深知道学习CUDA的过程并不轻松，因此，我决定开启这个CUDA系列文章，希望能将自己的所学、所感悟、所悟分享出来，后续我将持续输出，从基础概念到进阶应用，带你一步步掌握CUDA这门强大的技术，也算是给自己的学习之路留下一份记录。 维基百科中是这样对CUDA进行描述的：CUDA（Compute Unified Devic

**RGB相机动捕系列：相机标定（四、架构设计） RGB相机动捕系列：相机标定（四、架构设计）一、概述之前的几篇文章分别写了RGB相机阵标定的特征提取、标定计算、相机配准。本篇将阐述整个标定过程中的整体架构设计，将整个流程串起来，为整个标定系统的可用性、可扩展性、易用性定下基础。 二、基础架构从前面几篇文章中我们可以看到，整个相机标定流程从相机采集图像出发，经过特征提取，标定计算，相机配准几个步骤

@TOC RGB相机动捕系列：相机标定（三.一、暴力重建）一、概述之前一篇文章中写了一篇 RGB相机动捕系列：相机标定（三、相机阵配准），其中 2.3中提到了红点三维重建，本篇将详细介绍一下红点重建的具体过程。 二、暴力匹配2.1相机匹配遍历所有相机，对相机进行两两相互匹配。由于已经对相机进行标定，可根据相机参数求出两相机的交会角。去除交会角过小和过大的匹配对。因为当交会角过小时，会导致重建深度的

**RGB相机动捕系列：相机标定（三、相机阵配准） 一、概述在上一篇博客中我们讲了相机标定的标定计算部分。但是完成标定的相机阵的参数在尺度、原点、方向上都和真实的坐标系有区别，所以需要使用配准的方式对相机参数进行变换，还原出真实的坐标系。 二、相机阵配准2.1、配准杆配准杆采用T字形红光灯，具体做法是将T形杆放置在地面并保持水平。T形杆如下图所示。 2.2、配准杆红点检测水平放置配准杆后打开

**RGB相机动捕系列：相机标定（二、标定计算） 一、概述在上一篇博客中我们讲了相机标定的前置步骤，特征提取，本篇讲述后续的多相机标定中的标定计算部分；主要包括：1、匹配关联；2、几何验证；3、全局优化 二、标定计算2.1、匹配关联红点提取完成后，可能存在同一时刻同一相机提取出了多个红点或者未提取到红点，则认为该帧为无效帧，将该帧删除，最后将有效帧进行两两匹配，构建相机-特征匹配关系。 2.2、几

**RGB相机动捕系列：相机标定（一、特征提取） 一、概述在动捕行业中，动捕系统一般采用红外相机捕捉演员身上的mark红外反光点，如vicon、OptiTrack等相机，相机厂商会有配对的相机标定系统。但是红外光学动捕有时会有一定的局限性，比如对于手指的捕捉效果很差，所以有一套RGB相机动捕是很有必要的。但是市面上大多数RGB工业相机并没有配套的相机阵标定系统，本系列文章将阐述RGB相机动捕的整个

TensorRT+CUDA加速人体关键点检测 目录 TensorRT+CUDA加速人体关键点检测 1、 人体关键点检测简介 2、 CPU和GPU的异同 3、 TensorRT推理加速 4、 CUDA编程加速后处理 1、 人体关键点检测简介在影视游戏领域中，动画和角色中必须要有动作如奔跑、打斗、跳跃等，动捕技术出来之前的做法是动画师手工一帧帧修，此方法非常耗时，且非常考验动画师的经验。动捕技术常使