基于双层注意力机制的电力文本分类模型

doi:10.11930/j.issn.1004-9649.202411021

中国电力 ›› 2025, Vol. 58 ›› Issue (11): 156-163.DOI: 10.11930/j.issn.1004-9649.202411021

基于双层注意力机制的电力文本分类模型

武同心¹(), 纪鑫¹^,²(), 杨成月¹(), 陈屹婷¹, 杨智伟¹

1. 国家电网有限公司大数据中心，北京　100031
2. 北京航空航天大学，北京　100191

收稿日期:2024-11-06 修回日期:2025-06-20 发布日期:2025-12-01 出版日期:2025-11-28
作者简介:
武同心（1986），男，硕士，高级工程师，从事电力系统知识图谱构建研究，E-mail： tongxin-wu@sgcc.com.cn
纪鑫（1984），男，硕士，高级工程师，从事电力大数据、云计算、人工智能研究与开发，E-mail：xin-ji@sgcc.com.cn
杨成月（1977），男，博士，高级工程师，从事摄影测量与遥感等研究，E-mail：chengyue-yang@sgcc.com.cn
基金资助:
国家电网有限公司科技项目（基于图神经网络和图深度学习的电力知识抽取技术研究，52999021N005）。

A Power Text Classification Model Based on Dual-layer Attention Mechanism

WU Tongxin¹(), JI Xin¹^,²(), YANG Chengyue¹(), CHEN Yiting¹, YANG Zhiwei¹

1. State Grid Corporation of China Big Data Center, Beijing 100031, China
2. Beijing University of Aeronautics and Astronautics, Beijing 100191, China

Received:2024-11-06 Revised:2025-06-20 Online:2025-12-01 Published:2025-11-28
Supported by:
This work is supported by Science and Technology Project of SGCC (Research on Power Knowledge Extraction Technology Based on Graph Neural Network and Graph Deep Learning, No.52999021N005).

摘要/Abstract

摘要：

电力领域中存在大量的中文文本数据，传统文本挖掘方法存在分词难度大、文本特征提取具有局限性、处理文本中的复杂关系时效果不好等问题，严重限制了对电力信息的深度理解与分类。基于此，提出了一种结合文本卷积网络（text convolutional neural networks，TextCNN）与注意力（Attention）机制的电力文本分类模型，对输入层、TextCNN层、第1个注意力层、池化层、第2个注意力层以及输出层进行了分层优化设计，并通过实验对模型进行了验证。结果显示，TextCNN-Attention模型在电力文本数据集上的文本分类准确率达到了96.8%，精确率达到了86.3%，召回率达到了90.3%，综合评价值达到了88.2%，表明TextCNN-Attention模型可有效提升电力文本分类的效率，为深度学习算法在电力文本分类领域的应用提供了经验借鉴。

关键词: 深度学习, 电力领域, 文本分类, 卷积神经网络, 注意力机制

Abstract:

There are a large amount of Chinese text data in the electric power field, traditional text mining methods are faced with problems such as difficulty in word segmentation, limitations in text feature representation, and poor performance in handling complex relationships in text, which limit the deep understanding and classification of power information. This paper proposes a power text classification model that combines text convolutional neural networks (TextCNN) and Attention mechanism. A hierarchical optimization design was carried out for the input layer, TextCNN layer, first attention layer, pooling layer, second attention layer, and output layer, with experimental validation conducted to verify the model's performance. The results show that the proposed TextCNN-Attention model achieved a text classification accuracy of 96.8%, with a precision of 86.3%, a recall of 90.3%, and a F1 score (comprehensive evaluation metric) of 88.2% on the power text dataset, demonstrating the superior performance of the TextCNN-Attention model in processing power texts. This study can provide valuable experiences for application of deep learning in power text classification.

Key words: deep learning, electricity sector, text classification, convolutional neural networks, attention mechanism

武同心, 纪鑫, 杨成月, 陈屹婷, 杨智伟. 基于双层注意力机制的电力文本分类模型[J]. 中国电力, 2025, 58(11): 156-163.

WU Tongxin, JI Xin, YANG Chengyue, CHEN Yiting, YANG Zhiwei. A Power Text Classification Model Based on Dual-layer Attention Mechanism[J]. Electric Power, 2025, 58(11): 156-163.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://www.electricpower.com.cn/CN/10.11930/j.issn.1004-9649.202411021

https://www.electricpower.com.cn/CN/Y2025/V58/I11/156

图/表 9

参考文献 31

1	杨春霞, 马文文, 徐奔, 等. 融合标签信息的分层图注意力网络文本分类模型[J]. 计算机工程与科学, 2023, 45 (11): 2018- 2026. DOI
	YANG Chunxia, MA Wenwen, XU Ben, et al. A hierarchical graph attention network text classification model that integrates label information[J]. Computer Engineering & Science, 2023, 45 (11): 2018- 2026. DOI
2	周凯, 焦龄霄, 胡志坚, 等. 基于注意力机制的CNN-BiLSTM操作票自动校核方法[J]. 武汉大学学报(工学版), 2023, 56 (9): 1114- 1123. DOI
	ZHOU Kai, JIAO Lingxiao, HU Zhijian, et al. Automatic verification method of operation ticket based on attention mechanism of CNN-BiLSTM[J]. Engineering Journal of Wuhan University, 2023, 56 (9): 1114- 1123. DOI
3	杨茜. 基于Bi-LSTM和图注意力网络的多标签文本分类算法[J]. 计算机应用与软件, 2023, 40 (9): 145- 150. DOI
	YANG Xi. Multi label text classification algorithm based on BI-LSTM and graph attention network[J]. Computer Applications and Software, 2023, 40 (9): 145- 150. DOI
4	张爱军, 刘会强, 慕腾, 等. 计及经济-低碳时空匹配的高比例新能源电力系统扩展规划[J]. 智慧电力, 2024, 52 (11): 72- 80. DOI
	ZHANG Aijun, LIU Huiqiang, MU Teng, et al. Expansion planning for high proportion of renewable energy power system considering economy-low carbon spatiotemporal matching[J]. Smart Power, 2024, 52 (11): 72- 80. DOI
5	郭森, 王宇慧, 周劲松, 等. 数字经济发展对我国省级电力行业碳排放影响研究[J]. 智慧电力, 2024, 52 (11): 32- 39. DOI
	GUO Sen, WANG Yuhui, ZHOU Jinsong, et al. Impact of digital economy development on carbon emissions in China's provincial electric power industry[J]. Smart Power, 2024, 52 (11): 32- 39. DOI
6	侯慧, 吴文杰, 魏瑞增, 等. 基于注意力机制的CNN-LSTM-XGBoost台风暴雨电力气象混合预测模型[J]. 智慧电力, 2024, 52 (10): 96- 102. DOI
	HOU Hui, WU Wenjie, WEI Ruizeng, et al. Attention mechanism based CNN-LSTM-XGBoost electric power meteorological hybrid forecasting model of typhoon rainstorm[J]. Smart Power, 2024, 52 (10): 96- 102. DOI
7	庞清乐, 韩松易, 周泰, 等. 基于ASRUKF和IMC算法的电力信息物理系统虚假数据注入攻击检测[J]. 智慧电力, 2024, 52 (7): 111- 118. DOI
	PANG Qingle, HAN Songyi, ZHOU Tai, et al. False data injection attack detection of cyber-physical power system based on ASRUKF and IMC algorithms[J]. Smart Power, 2024, 52 (7): 111- 118. DOI
8	程钢, 陈秀明, 于翔. 基于TextCNN融合模型的离散情感分析[J]. 科学技术创新, 2023 (21): 124- 127. DOI
	CHENG Gang, CHEN Xiuming, YU Xiang. Discrete emotion analysis based on TextCNN-BERT fusion model[J]. Scientific and Technological Innovation, 2023 (21): 124- 127. DOI
9	胡容波, 郭诚, 王锦浩, 等. 基于深度学习的自然资源政策文本分类研究[J]. 高技术通讯, 2023, 33 (7): 692- 703. DOI
	HU Rongbo, GUO Cheng, WANG Jinhao, et al. Research on classification of natural resources policy text based on deep learning[J]. Chinese High Technology Letters, 2023, 33 (7): 692- 703. DOI
10	彭俊利, 王少泫, 陆正球, 等. 基于LDA-TF-IDF和Word2Vec文档表示[J]. 浙江纺织服装职业技术学院学报, 2023, 22 (2): 91- 96. DOI
	PENG Junli, WANG Shaoxuan, LU Zhengqiu, et al. Document representation based on LDA-TF-IDF and Word2Vec[J]. Journal of Zhejiang Fashion Institute of Technology, 2023, 22 (2): 91- 96. DOI
11	刘佳欣. 基于深度学习的情感文本分类研究[D]. 兰州: 兰州理工大学, 2023.
	LIU Jiaxin. Research on sentiment text classification based on deep learning[D]. Lanzhou: Lanzhou University of Technology, 2023.
12	王振, 杨国锋, 陈天池. 基于深度学习的长文本分类[J]. 中国新通信, 2019, 21 (6): 86- 88.
13	HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313 (5786): 504- 507. DOI
14	贾澎涛, 孙炜. 基于深度学习的文本分类综述[J]. 计算机与现代化, 2021 (7): 29- 37. DOI
	JIA Pengtao, SUN Wei. A survey of text classification based on deep learning[J]. Computer and Modernization, 2021 (7): 29- 37. DOI
15	彭清泉, 王丹. 基于深度学习的医疗文本分类模型[J]. 电子设计工程, 2023, 31 (5): 51- 54. DOI
	PENG Qingquan, WANG Dan. Medical text classification model based on deep learning[J]. Electronic Design Engineering, 2023, 31 (5): 51- 54. DOI
16	邵栩辉. 基于深度学习的训练词向量和文本分类[J]. 电子制作, 2020 (20): 80- 82,100. DOI
	SHAO Xuhui. Training word vectors and text classification based on deep learning[J]. Practical Electronics, 2020 (20): 80- 82,100. DOI
17	吕淑宝, 王明月, 翟祥, 等. 一种深度学习的信息文本分类算法[J]. 哈尔滨理工大学学报, 2017, 22 (2): 105- 111. DOI
	LYU Shubao, WANG Mingyue, ZHAI Xiang, et al. AN information text classification algorithm based on DBN[J]. Journal of Harbin University of Science and Technology, 2017, 22 (2): 105- 111. DOI
18	祝亮. 基于CNN深度学习的自媒体文本分类方法的研究[J]. 电脑知识与技术, 2021, 17 (21): 97- 100.
	ZHU Liang. Research on we-media text classification method based on CNN deep learning[J]. Computer Knowledge and Technology, 2021, 17 (21): 97- 100.
19	徐建飞, 吴跃成. 基于BERT-BiLSTM-CNN模型的新闻文本分类研究[J]. 软件工程, 2023, 26 (6): 11- 15. DOI
	XU Jianfei, WU Yuecheng. Research on news text classification based on BERT-BiLSTM-CNN[J]. Software Engineering, 2023, 26 (6): 11- 15. DOI
20	YANG X Z, PENG G J, ZHANG D N, et al. PowerDetector: malicious PowerShell script family classification based on multi-modal semantic fusion and deep learning[J]. China Communications, 2023, 20 (11): 202- 224. DOI
21	杨秀璋, 武帅, 张苗, 等. 基于TextCNN和Attention的微博舆情事件情感分析[J]. 信息技术与信息化, 2021 (7): 41- 46. DOI
	YANG Xiuzhang, WU Shuai, ZHANG Miao, et al. Emotional analysis of microblog public opinion events based on TextCNN and Attention[J]. Information Technology and Informatization, 2021 (7): 41- 46. DOI
22	ZHOU X W, WANG H F, LI S S, et al. Complex traffic scene image classification based on sparse optimization boundary semantics deep learning[J]. Wuhan University Journal of Natural Sciences, 2023, 28 (2): 150- 162. DOI
23	齐佳琪, 迟呈英, 战学刚. ERNIE-CNN文本分类模型[J]. 辽宁科技大学学报, 2021, 44 (1): 56- 61. DOI
	QI Jiaqi, CHI Chengying, ZHAN Xuegang. ERNIE-CNN text classification model[J]. Journal of University of Science and Technology Liaoning, 2021, 44 (1): 56- 61. DOI
24	王宣军, 于虹, 祁兵, 等. 基于注意力机制的混合神经网络电力设备缺陷文本挖掘方法[J]. 电力信息与通信技术, 2023, 21 (9): 44- 51. DOI
	WANG Xuanjun, YU Hong, QI Bing, et al. Hybrid neural network text mining method for power equipment defects based on attention mechanism[J]. Electric Power Information and Communication Technology, 2023, 21 (9): 44- 51. DOI
25	HU J X, HU W H, CHEN J J, et al. Fault location and classification for distribution systems based on deep graph learning methods[J]. Journal of Modern Power Systems and Clean Energy, 2023, 11 (1): 35- 51. DOI
26	SALAMA W M, ALY M H. Framework for COVID-19 segmentation and classification based on deep learning of computed tomography lung images[J]. Journal of Electronic Science and Technology, 2022, 20 (3): 100161. DOI
27	姜炎宏. 基于深度学习的中文文本多标签分类研究[D]. 鞍山: 辽宁科技大学, 2020.
	JIANG Yanhong. Research on Chinese text multi-label classification based on deep learning[D]. Anshan: University of Science and Technology Liaoning, 2020.
28	曹湘, 李誉坤, 钱叶, 等. 基于混合神经网络的电力短文本分类方法研究[J]. 计算机与数字工程, 2019, 47 (5): 1145- 1150. DOI
	CAO Xiang, LI Yukun, QIAN Ye, et al. Short text classification of electric power based on hybrid neural network[J]. Computer & Digital Engineering, 2019, 47 (5): 1145- 1150. DOI
29	李天昊, 霍其润, 闫跃, 等. 融合ERNIE和注意力机制的中文关系抽取模型[J]. 小型微型计算机系统, 2022, 43 (6): 1226- 1231. DOI
	LI Tianhao, HUO Qirun, YAN Yue, et al. Chinese relation extraction model based on ERNIE and attention mechanism[J]. Journal of Chinese Computer Systems, 2022, 43 (6): 1226- 1231. DOI
30	宇文梦柯. 基于领域知识的电网设备故障缺陷案例分析方法的研究与实现[D]. 北京: 北京邮电大学, 2019.
	YUWEN Mengke. Research and implementation of grid equipment defect case analysis based on field knowledge[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.
31	王丽鹏, 张鹏云, 和志强. 基于特征词匹配的政策文本分类算法研究与实现[J]. 河北省科学院学报, 2017, 34 (3): 1- 6. DOI
	WANG Lipeng, ZHANG Pengyun, HE Zhiqiang. Research and implementation of text categorization algorithm based on feature word matching[J]. Journal of the Hebei Academy of Sciences, 2017, 34 (3): 1- 6. DOI

电力领域文本		类别
可改善氢燃料与充电电池的储能新技术		氢能与储能技术
电网新能源消纳受阻因素智能辨识方法		电力消纳
具有用电器分析监测功能的智能供电装置		高电压与智能电器
电能质量的监测与分析系统		电能质量
视觉信息在电力设备检测中的应用		电力设备
“十二五”智能电网投资将接近2万亿元		智能电网
利用界面临界压力法处理变压器夹件绝缘故障		变压器
基于“五防”体系的智能变电站二次状态防误研究		变电站
“互联网+”视角下智能配电网运维技术应用分析		配电网
电力系统故障仿真软件分析		电力系统

电力领域文本		类别
可改善氢燃料与充电电池的储能新技术		氢能与储能技术
电网新能源消纳受阻因素智能辨识方法		电力消纳
具有用电器分析监测功能的智能供电装置		高电压与智能电器
电能质量的监测与分析系统		电能质量
视觉信息在电力设备检测中的应用		电力设备
“十二五”智能电网投资将接近2万亿元		智能电网
利用界面临界压力法处理变压器夹件绝缘故障		变压器
基于“五防”体系的智能变电站二次状态防误研究		变电站
“互联网+”视角下智能配电网运维技术应用分析		配电网
电力系统故障仿真软件分析		电力系统

参数		值
word_num（单词数）		50
embedding_dim（词向量维度）		300
vocab_size（词表大小）		12743
filter_size（卷积核大小）		2，3，4
filter_num（卷积核数量）		64
learning_rate（学习率）		1e—3
epochs（迭代次数）		5
dorpout(随机失活)		0.5
batch size（样本数）		128

参数		值
word_num（单词数）		50
embedding_dim（词向量维度）		300
vocab_size（词表大小）		12743
filter_size（卷积核大小）		2，3，4
filter_num（卷积核数量）		64
learning_rate（学习率）		1e—3
epochs（迭代次数）		5
dorpout(随机失活)		0.5
batch size（样本数）		128

自定义电力文本		分类结果
浅谈电力系统企业文化的建设		电力系统
智能变电站网络通信测试方法研究		变电站
供电系统的电能质量与无功补偿		电能质量
电网高比例消纳风电运行机制研究		电力消纳
功能性纳米材料的制备及其性质研究		氢能与储能技术

基于双层注意力机制的电力文本分类模型

A Power Text Classification Model Based on Dual-layer Attention Mechanism

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 31

相关文章 15

编辑推荐

Metrics

模型	准确率	精确率	召回率	F₁
ML-NB	86.4	83.2	82.1	83.6
TextCNN	94.5	84.2	87.7	86.9
TextCNN-Attention	96.8	86.3	90.3	88.2

[1]	李科, 潘庭龙, 许德智. 基于MSCNN-BiGRU-Attention的短期电力负荷预测[J]. 中国电力, 2025, 58(6): 10-18.
[2]	步雨洛, 吴俊勇, 史法顺, 季佳伸. 考虑新能源的暂态功角与电压稳定一体化评估[J]. 中国电力, 2025, 58(6): 122-136.
[3]	李鹏, 祖文静, 刘一欣, 田春筝, 郝元钊, 李慧璇. 基于不完全量测数据的配电网状态估计方法[J]. 中国电力, 2025, 58(5): 1-10.
[4]	沈鑫, 王钢, 赵毅涛, 骆钊, 李钊, 杨晓华. 融合SENet注意力机制和GA-CNN的非侵入式负荷识别方法[J]. 中国电力, 2025, 58(5): 33-42.
[5]	姜通海, 王峰, 刘子琪, 单帅杰. 基于改进生成对抗网络的风光气象资源联合场景生成方法[J]. 中国电力, 2025, 58(3): 183-192.
[6]	吴军英, 路欣, 刘宏, 张彬, 柴守亮, 刘蕴春, 王佳楠. 基于Spearman-GCN-GRU模型的超短期多区域电力负荷预测[J]. 中国电力, 2024, 57(6): 131-140.
[7]	高岩, 吴汉斌, 张纪欣, 张华铭, 张沛. 基于组合深度学习的光伏功率日前概率预测模型[J]. 中国电力, 2024, 57(4): 100-110.
[8]	娄奇鹤, 李荣盛, 谭捷, 袁铁江. 基于卷积神经网络的暂稳极限功率计算[J]. 中国电力, 2024, 57(4): 211-219.
[9]	周颖, 白雪峰, 王阳, 邱敏, 孙冲, 武亚杰, 李彬. 面向虚拟电厂运营的温度敏感负荷分析与演变趋势研判[J]. 中国电力, 2024, 57(1): 9-17.
[10]	王大兴, 宁妍, 汪敬培, 徐洋, 毕峻, 周铭标, 王鹏. 构建新型电力系统背景下的微电网鲁棒简化建模[J]. 中国电力, 2024, 57(1): 148-157.
[11]	吴晓刚, 阎洁, 葛畅, 唐雅洁, 倪筹帷, 季青锋. 基于改进GRU-CNN的风光水一体化超短期功率预测方法[J]. 中国电力, 2023, 56(9): 178-186,205.
[12]	刘东, 张越, 皮俊波, 单连飞, 刘赫, 宋鹏程, 姜涛. 面向电网调控信息智能检索的知识图谱构建及应用[J]. 中国电力, 2023, 56(7): 78-84.
[13]	皮志勇, 朱益, 廖玄, 李振兴, 方豪, 吴沛. 基于深度学习的智能变电站通信链路故障定位方法[J]. 中国电力, 2023, 56(7): 136-145.
[14]	张鑫, 叶俊杰, 崔瑶, 黄鑫, 仲林林. 基于语义信息距离解耦的变电运维多类别缺陷图像检测[J]. 中国电力, 2023, 56(6): 209-218.
[15]	陆友文, 崔昊, 陈佳宁, 彭祥佳, 冯双, 刘栋. 基于RA-CNN和同步相量的风电场次/超同步振荡参数智能辨识方法[J]. 中国电力, 2023, 56(4): 46-55,67.

模态框（Modal）标题

基于双层注意力机制的电力文本分类模型

A Power Text Classification Model Based on Dual-layer Attention Mechanism

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 31

相关文章 15

编辑推荐

Metrics