基于3D结构与全原子GNN预测跨膜蛋白拓扑结构
本研究提出了一种基于图神经网络(SchNet)预测跨膜蛋白拓扑结构的新方法。与传统仅依赖蛋白序列或α-碳骨架特征的方法不同,该模型直接利用全原子级嵌入特征进行拓扑推断。在与DeepTMHMM相同的基准数据集上进行5折交叉验证,研究表明在不使用任何预训练权重的情况下,GNN在该任务上表现出良好潜力,展示了3D结构信息在蛋白拓扑预测中的应用价值。
本研究提出了一种基于图神经网络(SchNet)预测跨膜蛋白拓扑结构的新方法。与传统仅依赖蛋白序列或α-碳骨架特征的方法不同,该模型直接利用全原子级嵌入特征进行拓扑推断。在与DeepTMHMM相同的基准数据集上进行5折交叉验证,研究表明在不使用任何预训练权重的情况下,GNN在该任务上表现出良好潜力,展示了3D结构信息在蛋白拓扑预测中的应用价值。
该研究探讨了大模型推理能力的递归自我提升方法。针对传统的策略内蒸馏(OPD)依赖外部教师模型提供密集的token级监督,研究提出了策略内自蒸馏(OPSD)机制。该机制通过复制一份冻结的学生模型,并在其上下文中提供真实标签作为特权教师模型,引导仅接收问题的学生模型进行模仿学习,从而在无需更强外部教师的情况下实现模型的自主迭代强化。
针对“系统一”单次前向决策模型(如 Laya)在面对信息缺失时倾向于盲目猜测的问题,研究人员提出了 LAVOIR(带信息价值路由的 Laya)。该方法将候选缺失信息槽位直接置于输入端与选项并列,使得模型在单次前向传播中不仅能输出决策分布,还能同时计算每个槽位对正确决策概率的预期增益,从而教会模型在何时以及主动询问何种关键信息。
该研究针对自适应优化器中二阶矩估计的预条件指数展开探索。现有部分自适应方法通常研究动量更新与标准Adam平方根之间的指数设定,但该指数与全局学习率之间的耦合作用尚不明确。研究人员构建了包含稳定稀疏特征、环境相关伪稀疏特征、密集特征及高维噪声的四环境分类控制实验,覆盖21种预条件指数配置,系统分析了非常规负指数对跨环境泛化能力的影响。
研究人员提出了ENAS,一种面向超低功耗微控制器(TinyML)的硬件感知神经架构搜索框架。该框架结合了静态可行性检查、支持多种卷积块的基于单元搜索空间,以及“随机-Top-K-变异”的三阶段混合搜索策略与跨运行缓存。与依赖GPU加速的传统NAS不同,ENAS无需GPU即可高效运行,显著降低了端侧AI开发的算力门槛。
该研究在广义光滑性与重尾噪声假设下分析了经典逐坐标 AdaGrad 算法。研究指出,未引入梯度裁剪的 AdaGrad 会出现“各向异性失准”问题:在重尾噪声冲击下,其自适应学习率分母容易记录罕见噪声的几何特征而非目标函数的真实局部曲率,进而导致持久的方向性失真。该理论成果为自适应优化器中梯度裁剪的必要性提供了高概率理论支撑。
该论文针对隐式图神经网络(IGNN)展开理论研究。传统 IGNN 通过消息传递算子的不动点定义节点表征,虽具备无限深度传播和灵活的测试期计算能力,但为确保平衡态唯一且可收敛,往往对循环更新施加严格约束,牺牲了模型的表达能力。研究提出“隐式神经层”(Implicit Neural Sheaves)方法,旨在引入更丰富的边依赖变换以提升模型表达力,同时保留不动点迭代的收敛保障。
该论文针对物理信息神经网络(PINN)中表征质量难以显式优化的痛点,提出了“表征课程学习”框架及分阶段深度训练(SDT)方法。该方法首先利用临时的物理信息预测头训练浅层前缀网络,随后丢弃该头部并冻结已学到的前缀,再通过逐步加深网络层数来渐进式精炼特征表征。该方案无需针对特定方程进行额外编码,即可有效提升 PINN 的求解精度与训练稳定性。
现代传感器通常仅能记录物理系统的运动轨迹,难以直接观测驱动运动的内部力和力学响应,在粗时间采样尺度下推断尤为困难。研究人员提出了 Newmark-β-DGN 框架,该方法将图神经网络与计算力学原理相结合,通过借鉴 Newmark-β 方法的半隐式更新机制,利用学习得到的动量通量和矩阵结构,有效推断并模拟系统在粗时间步长下的物理动态与内部力学响应。
该研究探讨了因果Softmax注意力机制能否作为循环控制器来实现闭环控制中的策略镜像下降(PMD)。基于已知的Q-TD-PMD递推关系,研究团队构建了一个固定的因果Softmax“行动者-环境-单步评论家”协议,显式建模了行动者、路由、采样和归一化残差,并将这些误差传播至最终生成的策略中,为Transformer注意力机制在强化学习闭环控制中的理论表征提供了新视角。
OpenAI应用研究负责人Boris Power透露,公司目前80%到90%的研发精力已经投入到GPT-7、GPT-8乃至更长远的技术代际中,单个版本内的改进仅被视为短期过渡。但他同时指出,模型性能并非当前最大的瓶颈,目前面临的核心挑战在于多数用户甚至尚不清楚该如何有效使用AI来解决实际问题。
该文章发表于 Noema 杂志,探讨从蜻蜓等生物的高效神经系统与行为感知机制出发,为理解和发展人工智能提供全新视角。由于提供的素材仅包含文章标题和链接,缺乏具体正文内容,详细论点与技术细节尚不明确。