构建更加通用的人工智能,让模型具有更广泛和通用的认知能力,是当前人工智能(AI)领域发展的最大目标。目前流行的大模型路径是基于“尺度定律”()去构建更大、更深和更宽的神经网络,可称之为“基于外生复杂性”的通用智能实现方法。这一路径虽然看上去可靠,但其面临着计算资源及能源消耗难以为继、可解释性不足等问题。
中国科学院自动化研究所李国齐、徐波研究团队联合清华大学、北京大学等借鉴大脑神经元复杂动力学特性,提出了“基于内生复杂性”的类脑神经元模型构建方法,改善了传统模型通过向外拓展规模带来的计算资源消耗问题,为有效利用神经科学发展人工智能提供了示例。
据介绍,该研究首先展示了脉冲神经网络神经元(LIF)模型和霍奇金-赫胥黎(HH)模型在动力学特性上存在等效性,进一步从理论上证明了HH神经元可以和4个具有特定连接结构的时变参数LIF神经元(tv-LIF)动力学特性等效。基于这种等效性,团队通过设计微架构提升计算单元的内生复杂性,使HH网络模型能够模拟更大规模LIF网络模型的动力学特性,从而在更小的网络架构上实现与之相似的计算功能。
进一步地,团队将由四个tv-LIF神经元构建的“HH模型”(tv-LIF2HH)简化为s-LIF2HH模型,并通过仿真实验验证了这种简化模型在捕捉复杂动力学行为方面的有效性。
实验根据结果得出,HH网络模型和s-LIF2HH网络模型在表示能力和鲁棒性上具有相似的性能,验证了内生复杂性模型在处理复杂任务时的有效性与可靠性。同时,研究也发现HH网络模型在计算资源的利用上更高效,显著减少了内存和计算时间的使用,来提升了整体的运算效率。在论文中,研究团队还通过信息瓶颈理论对上述研究结果进行了解释。
在论文上线后,《自然计算科学》期刊专门撰文高度评论该工作的价值,称论文中的网络模型“在A与自然智能之间架起了桥梁”。评论称,AI研究更加贴近工程与应用,而神经科学的研究更具有探索性;而研究团队挑战了这一传统,并证明了“更细致且生物学上更真实的神经元模型可以推动深度学习取得更大进展”。
据了解,目前联合研究团队已开展了对更大规模HH网络以及具备更大内生复杂性的多分支多房室神经元的研究,有望逐步提升大模型计算效率与任务解决能力,实现在实际应用场景中的快速落地。
该论文的共同通讯作者是中国科学院自动化所李国齐研究员、徐波研究员和北京大学教授田永鸿;共同第一作者是清华大学钱学森班本科生何林轩(自动化所实习生)、数理基科班本科生徐蕴辉(自动化所实习生),清华大学精仪系博士生何炜华和林逸晗。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的全部作品,网站转载,请在正文上面注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:。
图灵奖得主John E. Hopcroft&北京大学郭耀教授:解读信息时代的计算机科学课程和教学
科技期刊新质生产力建设研讨会暨SciOpen创新大会2024在清华大学成功召开
下一篇:看智能计算如何引领第四代工业革命