part 3 基于FMCW毫米波雷达背景
通常，行走过程涉及许多身体部位，这些部位创建了独特的用户特有步态特征，如步距、步长和四肢速度。在本节中，我们将介绍高分辨率的mmWave雷达传感器如何通过测量距离(如步距、四肢位置)、速度(如四肢的瞬时速度)和到达角(angle of arrival AoA)来捕获这种独特的步态特征，以区分多个用户。
无线电信号以光速传播，因此在皮秒级的飞行时间(TOF)是极其难以测量的。在这项工作中，我们使用了基于fmcw的雷达技术，将直接测量TOF的挑战转化为测量频移。
具体来说，基于fmcw的雷达通过a频宽B重复发射连续线性扫频的啁啾信号，每个啁啾信号的持续时间为Tc。因此，扫描的斜率为S = B/Tc。接收信号是从目标对象反射的信号，它是传输信号的延迟版本。雷达传感器使用集成混频器产生传输信号和反射信号的减法，即中频(IF)信号。用包含多个啁啾的帧单元将中频信号分离，进行频域分析。
测距
part 4 挑战与系统概述
MU-ID的主要结构包括信号预处理和特征提取阶段、基于cnn的步态模型训练阶段和多用户识别阶段。其中，mmWave雷达传感器以反射的mmWave信号为输入，从所有接收天线(即4个接收天线)产生中频信号。为了获得基于距离和速度的步态特征，我们首先对接收到的信号进行距离- fft和多普勒- fft，以在热图上显示多个用户的距离和速度。然后生成干扰分布图，用高通滤波器去除静止物体(如墙壁和天花板)造成的干扰，并进一步校准接收到的信号。在这一步之后，距离-多普勒地图只保留与行走用户相关的信息。为了演示用户下肢的瞬时速度，我们利用下肢的频率响应和相应的速度推导出每个范围的主导速度。在特征提取步骤中，我们将速度与时空维度结合，得到直观的热图，它代表多个用户不同的下肢步态运动。
为了构建每个用户的步态模型，我们提出了一种基于主要速度峰值的单用户步长分割方法用于训练阶段的轮廓分析。步段反映了每个用户独特的步态模式。然后我们开发一个CNN分类器来构建用户特定环境独立的步态模型。为了通过步态识别同时识别多个用户，我们推导了一个下肢运动特征图，可以直观地区分不同范围的多个用户。然而，下肢运动地图在描述近距离的多个用户(例如并排行走)时能力有限。针对这一问题，提出了一种多用户步态分离方法，利用AoA信息来提取多用户的空间位置，从而在距离-多普勒域分离多用户的步态。为了进一步细分个体步骤，我们使用无监督学习技术，自动找到最优策略的步骤轮廓。通过固定大小的窗口进行步骤分割，然后通过开发的卷积神经网络训练的步态模型进行识别。
part 5 信号预处理和特征提取
A Range-Doppler-domain预处理
为了从距离和速度方面提取用户特有的步态模式，MU-ID将接收到的原始FMCW信号转换为距离-多普勒域。特别是，MU-ID首先对接收到的信号进行调频范围- fft，从而得到用户的范围信息。反射信号在距离雷达FpC/2S处被反射面反弹后产生较强的频响Fp，其中S为FMCW信号扫描的斜率。需要注意的是，信号会被感知领域的许多物体(例如行走的用户、墙壁、家具和天花板)反射，每一个都会产生强烈的频率响应。为了进一步推导出这些反射器的不同速度，我们将FFT应用于一个帧内的频域FFT信号，称为多普勒-FFT。图3(a)显示了当用户在走廊中走向雷达传感器时所导出的多普勒- fft信号的示例。x轴(距离- fft bin)对应反射面到雷达的移动速度，其中零点表示反射面是静态的。y轴(多普勒- fft bin)对应于反射镜到雷达的距离。
B 平稳干扰的去除和去噪
如图3(a)所示，推导出的距离-多普勒地图包含了移动用户、静止物体(如墙、家具、天花板)和环境多路径反射效应[32]的信息。为了准确地捕捉用户的步态信息，我们需要消除所有静止物体的反射效应。我们的雷达传感器配置捕捉快速变化的下肢速度在一个高帧率(i..e, 100 fps)。因此，对于每一帧，用户的频响出现在不同的距离-多普勒位置(即图3(a)中的距离)。相比之下，我们发现距离-多普勒图中与静止物体相关的频率响应随时间保持一致。这使得我们可以通过计算距离-多普勒域内的平均频率响应来粗略估计静止目标的干扰，从而在很大程度上降低了每个距离-多普勒位置上用户相关频率响应的权重。
图3(b)显示了从一个三秒窗口导出的静止干扰分布图，其中包含300帧。为了去除干扰，MU-ID从每帧的距离-多普勒域频率响应中减去估计的平稳干扰(如图3(b))(如图3(a))。平稳干扰去除后的距离-多普勒图如图3(c)所示，其中主要包含步行用户引起的频率响应。
此外，在处理距离-多普勒数据时，我们注意到大量的背景噪声积累了严重的偏差。为了在保持距离-多普勒域内用户步态特征的同时消除上述影响，我们使用基于阈值的高通滤波器，如下所述
C 下肢运动特征提取
我们观察到，有限的速度分辨率解决了一个物体在多个相邻箱子中的速度，如图3(d)所示。因此，我们使用主导速度 ^ Vi来表示用户在每一帧的下肢速度，可以计算为
主导速度集成了频率响应和速度，压缩二维距离-多普勒图成一维阵列。
序列的压缩然后射程速度数据被安排在时间的顺序,这被认为是下肢运动功能地图显示用户年代步态特征(例如,步长、持续时间、inter-lower肢体距离和占主导地位的下肢速度),如图4所示。为了检验我们提出的特征是否反映了独特的下肢步态模式，我们说明了实际步态过程(由摄像机捕获)和下肢运动特征(如图5)之间的对应关系。距离随时间的变化反映了步长和下肢间距离;步长由完成移动所需的帧数表示;以优势速度表示下肢的瞬时速度，并以彩色图表示。图6显示了在两天内捕获的两个用户的步骤片段。通过对比，用户A比用户B的瞬时下肢速度更快，步长更短;同时，属于同一用户的步骤具有很高的一致性。因此，下肢运动时空特征准确反映了用户特定的下肢步态模式。
part6 多用户识别
实现多用户识别的关键是将同时行走的用户与步骤分离。在本节中，我们将介绍一种下肢运动分离技术和一种基于轮廓的多用户步长分割方法，利用无监督学习。
A 多用户下肢运动分离
时空特征在不同的范围内在地区分多个用户。然而，这种特征在区分并肩行走的用户方面存在内在的局限性。为此，我们提出一种利用AoA的下肢步态特征分离方法。为了检测并行用户的存在，我们通过经验推断单个用户的距离-多普勒域频率响应之和为Rsingle。如果某一特定范围的频率响应之和显著超过Rsingle, MU-ID确认并行用户的存在并进行分离。
为了区分并列的用户，我们利用用户不同的空间位置。具体来说，我们将距离指标i、速度指标j的第k个距离-多普勒坐标系中的数据点R(i;j;k)投影到以雷达位置为原点的二维空间笛卡尔坐标系中的点^R (i;j;k)。利用R(i;j;k) s距离Di和到达角!(i;j;k)，得到空间坐标(X^R (i;j;k);推导出^R (i;j;k)的Y^R (i;j;k)
为了在笛卡尔坐标系下区分散点的属性，我们使用K-means聚类算法[7]对散点进行分离，如图7所示。为了确定K(即用户数量)，MU-ID使用Calinski-Harabasz指数[5]对[1;Kmax]中的K值进行评估，其中Kmax是根据频率响应峰值的平均数量估计的。然后根据空间聚类结果，通过掩蔽其他用户的频率响应，生成每个用户在距离-多普勒域的步态特征。图8显示了被MU-ID正确识别的两个并行行走用户的分离结果。
B 基于剪影分析的多用户步骤分割
为了保留特定于用户的步长和步长特征，我们使用固定大小的窗口进行分割，直接从步态特征图中提取步长。在大多数情况下，用户的步态运动可以从时空特征图中识别出来，如图9(a)所示。因此，步骤分割需要能够同时用于单用户和多用户场景。为了实现这一点，我们使用无监督学习技术来自动检测步骤的轮廓和定位步骤中心分割。
为了使步骤轮廓更清晰，我们首先进行二值化，将下肢运动图转换为散点图。特别是阈值二值化使用 设置数据点F (x, y)在功能映射框架x和y值较低的距离为零,并保持一个有更高的价值。可以通过实证研究来选择阈值。二值化散点图得到:
然后，MU-ID使用基于密度的空间聚类应用噪声(DBSCAN)算法对散点进行分类。在最优聚类的基础上，计算聚类中心的坐标，使用固定大小的窗口对步骤进行分割。
part7 步态轮廓的构建和基于cnn的模型训练
A 基于主要速度峰值的分段剖面分析
为了在训练阶段有效地构建用户的步态轮廓，我们提出了一种直观有效的单用户步长分割方法。具体来说，我们通过观察步进中心(即两下肢相交的交点)的区域具有最高的主导速度，从下肢步态图中定位每一步。为了推导出步进中心的位置，MU-ID首先计算出累积的主导速度，如图11所示。阶跃中心的帧指数对应于累积主导速度中的一个峰值。MU-ID通过一种高效的寻峰算法，首先得到时间轴上每一步的位置。然后采用基于滑动窗口的搜索算法对步长在空间轴上进行定位。为了去除由寻峰算法产生的假峰值，MU-ID设置了一个最小累积主导速度作为阈值，以避免无效的步态轮廓
B 通过步态轮廓训练CNN模型
CNN在图像识别领域有着广泛的应用，因为它具有提取细粒度图像模式的能力。为了从二维步态片段中获得独特的步态模式，我们开发并微调了一个深度的基于cnn的分类器。我们在图10中说明了MU-ID s CNN分类器的结构。特别是CNN以归一化的100 100px阶跃段作为输入。接下来，随卷积核的数量和大小而变化的四个卷积层提取基于图像的步态模式。采用整直线单元(ReLU)作为激活函数减小消失梯度，然后采用最大池化层减小中间输出。最后一个卷积层的输出由一个256个神经元的全连接层进行平展处理。最后，用softmax层输出概率分布作为多用户识别结果。
