多模态准确率提高,真的意味着读懂了更多脑信号吗?
脑信号贡献审计
分别测量系统总性能与 EEG 的增量贡献,用移除、置换和捷径控制检查模型是否依赖神经输入。辅助模态有价值,但不能冒充脑解码。
观察指标 · 完整输入 / 无 EEG / 置换 EEG 的差异、未见用户表现、贡献稳定性CORE INNOVATIONS
多模态准确率提高,真的意味着读懂了更多脑信号吗?
分别测量系统总性能与 EEG 的增量贡献,用移除、置换和捷径控制检查模型是否依赖神经输入。辅助模态有价值,但不能冒充脑解码。
观察指标 · 完整输入 / 无 EEG / 置换 EEG 的差异、未见用户表现、贡献稳定性模型看到新数据后更新,收益在真实到达顺序中还成立吗?
每批数据必须先测试、后揭示标签并更新;同时比较冻结模型、只保留近期数据和保留历史数据,报告逐用户收益、标签可得性与灾难性遗忘。
观察指标 · test-then-train / drift / label availability / retention基础模型应该重建原始波形,还是预测任务真正依赖的物理量?
在匹配骨干、数据、训练步数和 tokenizer 的条件下对照目标函数,并在低标签、跨任务和严格线性探测中检验;与睡眠频谱一致的目标未必适合运动或认知任务。
观察指标 · target / tokenizer / low-label / task alignment个人适配器更好,是身份信息还是只看到了更多自己的标签?
至少同时比较同预算群体适配器、交换给其他用户的适配器和不同规模的群体数据;还要在少标签、未见会话和不同骨干上检查收益是否持续。
观察指标 · personal / population / exchanged adapter / label budget下一笔采集预算应该增加受试者,还是增加每个人的试次?
在严格跨被试验证下分别拟合两条学习曲线,报告边际收益、上限和外推误差;缩放参数必须按任务、数据集和模型重新估计。
观察指标 · subjects / trials / marginal gain / extrapolation error预训练模型更强,还是它只是吃到了不同的输入与调参预算?
必须锁定验证流程,让基础模型与多个监督架构使用相同输入、预处理和选择预算;输入频带对不同架构可能产生相反影响,单一基线不能稳定归因预训练收益。
观察指标 · matched input / locked validation / multi-architecture模型变小且精度不降,是否代表部署也更安全?
不代表。剪枝和量化可能保持干净精度,却不改善直接对抗鲁棒性;效率、攻击迁移、真实后端一致性和闭环后果必须分别测量。
观察指标 · clean accuracy / direct robustness / transfer / runtime parity解码器替用户纠错时,也会改变大脑学到什么吗?
会。辅助会重写用户接收到的错误信号和信用分配,使任务信息集中到不同的神经元与低维模式;必须同时评估即时表现、长期可塑性和撤除辅助后的能力。
观察指标 · credit assignment / neural compactness / retention每个组件单独有效,叠在一起就一定更好吗?
对齐、空间滤波、个体校准和语言先验会改变彼此可用的证据;通用 BCI 应按信号质量与任务风险门控组合,而不是默认全部开启。
观察指标 · interaction effect / calibration / ITR平均准确率不错,是否掩盖了最不稳定的用户?
跨被试系统必须报告逐人差值、尾部风险和失败恢复;通信受限或分布漂移时,少数用户可能承受远大于均值的性能损失。
观察指标 · worst-user delta / tail risk / recoveryAI 辅助越用越准,就一定越来越好吗?
短期准确率可能掩盖依赖、疲劳和目标漂移;系统需要快慢双环路、不确定性门控、可撤销更新与长期结果审计。
观察指标 · uncertainty / reversibility / long-term utility模型换一个人、换一套电极后还能工作吗?
核心不再只是单数据集精度,而是共享神经表征、少样本适配和无监督在线校准。
观察指标 · 跨被试 / 跨会话 / 跨设备更多电极一定意味着更好的 BCI 吗?
真正关键的是每秒可靠信息量、系统延迟、长期稳定性和解码任务的匹配,而非孤立通道数。
观察指标 · ITR / latency / stability如何在不伤脑的前提下获得高质量信号?
柔性材料、皮层表面高密度阵列、硬膜外与血管内路线正在形成多种临床折中。
观察指标 · 侵入程度 / SNR / coverage演示视频之后,用户能否每天稳定使用?
全植入、无线、低校准负担、家庭环境鲁棒性和可维护性,决定产品能否真正走出实验室。
观察指标 · home use / calibration burden只训练算法够不够?
有效反馈会改变用户的神经策略;未来系统需要同时建模使用者学习与解码器适应。
观察指标 · co-adaptation / feedback精度提升能否跨数据集重现?
公开数据、统一基准、严格消融和模型审计,是把 BCI 研究从增量指标推向可积累知识的基础。
观察指标 · open data / benchmark / audit