Nest Hub 中的非接触式睡眠感应

视频介绍：Nest Hub 中的非接触式睡眠感应

人们经常求助于技术来管理他们的健康和福祉，无论是记录他们的日常锻炼、测量他们的心率，还是越来越多地了解他们的睡眠模式。睡眠是一个人日常健康的基础，并且会受到（进而影响）一个人生活其他方面的影响——情绪、精力、饮食、生产力等等。

作为我们为支持人们的健康和幸福所做的持续努力的一部分，今天我们在新的 Nest Hub 中宣布了睡眠感应，它使用基于雷达的睡眠跟踪以及咳嗽和打鼾检测算法。虽然不用于医疗目的1，但睡眠感应是一项可选功能，可以使用非接触式床边设置帮助用户更好地了解他们的夜间健康状况。在这里，我们描述了睡眠感知背后的技术，并讨论了我们如何利用设备上的信号处理以保护用户隐私的方式启用睡眠监测（与其他临床和消费级设备相比）。

用于睡眠跟踪的 Soli

Nest Hub 中的睡眠传感展示了Soli的第一个健康应用，Soli是一种微型雷达传感器，可用于各种尺度的手势感应，从手指敲击到人的身体运动。在 Pixel 4 中，Soli 为Motion Sense 提供支持，实现与手机的非接触式交互，以跳过歌曲、暂停闹钟和使电话静音。我们扩展了这项技术并开发了一种基于 Soli 的嵌入式算法，可以在 Nest Hub 中实施以进行睡眠跟踪。

Soli由毫米波调频连续波(FMCW)雷达收发器组成，可发射超低功率无线电波并测量来自感兴趣场景的反射信号。反射信号的频谱包含场景内物体的距离和速度的聚合表示。可以处理该信号以隔离指定的感兴趣范围，例如用户的睡眠区域，并检测和表征该区域内的各种运动，从大的身体运动到亚厘米的呼吸。

为了利用这个信号进行睡眠感知，有必要设计一种算法来确定一个人是否在指定的睡眠区域，如果是，那么这个人是睡着还是醒着。我们设计了一个定制的机器学习 (ML) 模型来有效地处理连续的 3D 雷达张量流（总结一系列距离、频率和时间的活动）并自动将每个特征分类为三种可能的状态之一：不存在、清醒，然后睡着了。

为了训练和评估模型，我们记录了来自数千人的超过一百万小时的雷达数据，以及数以千计的睡眠日记、参考传感器记录和外部注释。然后，我们利用TensorFlow Extended框架构建训练管道来处理这些数据并生成高效的TensorFlow Lite嵌入式模型。此外，我们创建了一个自动校准算法，该算法在设置期间运行以配置分类器将关注的场景部分。这确保算法忽略床另一侧的人或房间其他区域（例如吊扇和摇摆的窗帘）的运动。

为了验证算法的准确性，我们将其与33 名“健康睡眠者”（没有严重睡眠问题，如睡眠呼吸暂停或失眠症）的队列中的睡眠-觉醒确定的黄金标准，即多导睡眠图睡眠研究进行了比较。广泛的年龄范围（19-78 岁）。睡眠研究通常在临床和研究实验室进行，以收集各种身体信号（脑电波、肌肉活动、呼吸和心率测量、身体运动和位置以及打鼾），然后可以由训练有素的睡眠专家进行解释以确定睡眠阶段并确定相关事件。为了说明不同评分者如何应用美国睡眠医学会的根据分期和评分规则，我们的研究使用了两名经过董事会认证的睡眠技术专家，独立注释每晚的睡眠并建立明确的基本事实。

我们将我们的睡眠感知算法的输出与每 30 秒时间周期的相应groundtruth 睡眠和唤醒标签进行比较，以计算标准性能指标（例如，灵敏度和特异性）。虽然不是真正的面对面比较，但这项研究的结果可以与之前发表的类似队列中使用可比方法的研究进行比较，以便粗略估计性能。在“使用非接触式床边雷达睡眠传感系统进行睡眠-觉醒检测”中，我们分享了这些验证结果的全部细节，证明睡眠-觉醒估计相当于或在某些情况下优于当前的临床和消费者睡眠跟踪设备。

了解睡眠质量与音频传感

基于索利-睡眠跟踪算法上面的描述给用户带来了方便，可靠的方式，看看他们有多少睡眠获取和当睡眠中断发生。然而，要了解和改善他们的睡眠，用户还需要了解他们的睡眠为什么会被打乱。为了帮助实现这一点，Nest Hub 使用其传感器阵列来跟踪常见的睡眠障碍，例如光线水平变化或不舒服的室温。除此之外，咳嗽和打鼾等呼吸系统事件也是常见的干扰源，但人们往往不知道这些事件。

与语音或音乐识别等其他音频处理应用程序一样，咳嗽和打鼾在音频频谱中表现出独特的时间模式，如果有足够的数据，可以训练 ML 模型以可靠地识别这些模式，同时忽略各种背景噪音，从嗡嗡的风扇到过往的汽车。该模型完全使用设备上的音频处理和隐私保护分析，没有将原始音频数据发送到谷歌的服务器。然后，用户可以选择在 Google Fit 中保存处理的输出（声音发生次数，例如咳嗽和打鼾的分钟数），以便随着时间的推移查看个人见解和他们夜间健康的摘要。

为了训练模型，我们组装了一个大型手工标记数据集，从公开可用的AudioSet研究数据集以及由数千人贡献的数十万个额外的真实世界音频剪辑中提取示例。

当用户选择在床边 Nest Hub 上跟踪咳嗽和打鼾时，该设备首先使用其基于 Soli 的睡眠算法来检测用户何时上床睡觉。一旦检测到用户睡着了，它就会激活其设备上的声音感应模型并开始处理音频。该模型的工作原理是从音频输入中连续提取类似频谱图的特征，并通过卷积神经网络分类器提供它们，以估计在给定时刻发生咳嗽或打鼾的概率。在整个晚上对这些估计值进行分析，以生成总体咳嗽计数和打鼾持续时间的报告，并准确突出显示这些事件发生的时间。

结论

新的 Nest Hub 具有潜在的睡眠感应功能，是使用户能够使用隐私保护雷达和音频信号了解他们夜间健康状况的第一步。我们继续研究环境感应和消费设备的预测能力可以帮助人们以保护隐私的方式更好地了解他们的日常健康状况的其他方式。

更新说明：优先更新微信公众号“雨夜的博客”，后更新博客，之后才会陆续分发到各个平台，如果先提前了解更多，请关注微信公众号“雨夜的博客”。

博客来源：雨夜的博客