近年来，深度学习网络（Deep Neural Network，DNN）凭借其卓越的能力在各个领域取得了显著成就，但训练出高质量的 DNN仍然面临诸多挑战。尽管可视化方法为DNN训练提供了有力辅助，然而当前主流的事后分析（post-hoc analysis）策略在实际应用中却暴露出许多问题，例如数据量庞大导致存储困难、I/O 开销过高，以及无法实现实时干预等等 。特别是DNN 训练过程中产生的海量时间序列数据，现有工具却难以从中提取出详细的训练过程信息，给模型优化带来了阻碍。

我中心先进交互式应用与发展部团队创新性地提出了一个针对深度学习模型训练数据的原位可视分析框架，并形成了原位特征提取和神经元学习模式抽象两大核心算法。原位特征提取算法在模型运行时复用内存数据，实时分析动态数据，有效解决了传统事后分析的数据存储和 I/O 瓶颈问题；而神经元学习模式抽象算法则基于原位特征数据，抽象出神经元的三种学习模式，为可视分析提供了有力支持。

该框架在性能方面表现良好，对千万参数深度神经网络模型的时序训练数据压缩率可达 1% ，不仅能够支撑训练全过程的问题可视分析与回溯，还能实现 batch level 神经元信息可视化，为深度学习模型优化提供全新视角和有力支持。该成果被可视化领域期刊IEEE Transactions on Visualization and Computer Graphics（IEEE TVCG，CCF-A类期刊）录用，第一作者为我中心李观副研究员，通信作者为我中心单桂华研究员。

该研究得到中国科学院先导专项和国家自然科学青年科学基金的资助。

深度学习模型原位分析流程

深度学习模型原位可视分析系统

相关成果

Li Guan,Junpeng Wang,Yang Wang,Guihua Shan*,Ying Zhao. An In-Situ Visual Analytics Framework for Deep Neural Networks,IEEE Transactions on Visualization and Computer Graphics,6770-6786,Oct. 2024.

责任编辑：郎杨琴