随着人工智能推理服务在搜索、推荐、交互式AI等场景中的大规模部署，推理时延与能耗已成为制约智能计算基础设施发展的核心瓶颈。近年来，学术界与工业界积极探索二值化、布尔计算、脉冲（类脑）计算等极致离散化神经网络技术，以大幅降低推理的算术复杂度和数据搬运开销。然而，现代GPU软件栈主要面向稠密浮点与整数乘加运算进行优化，二值、布尔与脉冲等离散神经网络所依赖的位运算、条件累加和事件驱动等计算模式难以被现有深度学习框架、编译器和推理引擎高效支持，其理论上的效率优势长期难以在主流GPU平台上兑现。

针对这一难题，计算机学院赵捷教授带领的CYCLE实验室团队提出了面向离散神经网络GPU推理的跨层优化框架Helios。该工作首次从系统层面统一了二值量化、布尔和脉冲等多类离散神经网络的计算模式，并围绕这一统一抽象，在算子执行、算子融合与运行时集成等多个层面进行协同设计，打通了从模型计算到GPU底层执行的优化链路，使离散神经网络的理论效率优势能够在通用GPU上真正落地。实验结果表明，在多代主流NVIDIA GPU和多种典型离散神经网络负载上，Helios相较于业界主流深度学习框架与推理引擎，在推理时延与能效方面均取得成倍提升。

近日，该研究成果以“Efficient GPU Inference for Discrete Neural Networks”为题，被第59届IEEE/ACM国际微体系结构研讨会（The 59th IEEE/ACM International Symposium on Microarchitecture，MICRO 2026）录用。

湖南大学为论文第一完成单位，第一作者为计算机学院硕士生杨可，赵捷教授为通讯作者。

相关成果已在实际工程项目中落地应用。

Helios系统总体架构。

来源：计算机学院

通讯员：何莎

责任编辑：周丹