BP 神经网络（多层感知机）

1. 方法概述

BP 神经网络（Backpropagation Neural Network）是典型的前馈多层感知机（MLP）模型，适用于分类与回归任务。本系统用于完成数据预处理、模型训练与评估，并输出论文可直接引用的指标、图表与结果表格。

设样本集为

$$ \mathcal{D}=\{(x_i,y_i)\}_{i=1}^{n},\quad x_i\in\mathbb{R}^d \tag{1} $$

其中 \(x_i\) 为第 \(i\) 个样本特征向量，\(y_i\) 为类别标签（分类）或连续值（回归）。

2. 公共部分（网络结构与前向传播）

2.1 前向传播

第 \(l\) 层（\(l=1,\dots,L\)）的线性变换与激活为

$$ z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)} \tag{2} $$

$$ a^{(l)}=\phi^{(l)}\!\left(z^{(l)}\right) \tag{3} $$

其中 \(a^{(0)}=x\)，\(\phi^{(l)}(\cdot)\) 为激活函数。

2.2 常用激活函数

ReLU： $$ \phi(z)=\max(0,z) \tag{4} $$

Tanh： $$ \phi(z)=\tanh(z) \tag{5} $$

Sigmoid： $$ \phi(z)=\frac{1}{1+e^{-z}} \tag{6} $$

2.3 输出层

分类（Softmax）： $$ \hat{y}_k=\frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}},\quad k=1,\dots,K \tag{7} $$

回归（线性输出）： $$ \hat{y}=a^{(L)} \tag{8} $$

3. 公共部分（损失函数与正则化）

分类交叉熵损失： $$ \mathcal{L}_{\text{cls}}=-\frac{1}{n}\sum_{i=1}^{n}\sum_{k=1}^{K} y_{ik}\ln(\hat{y}_{ik}+\varepsilon) \tag{9} $$

回归均方误差损失： $$ \mathcal{L}_{\text{reg}}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \tag{10} $$

L2 正则化： $$ \Omega(W)=\frac{1}{2}\sum_{l=1}^{L}\|W^{(l)}\|_F^2 \tag{11} $$

总体目标函数： $$ J=\mathcal{L}+\alpha\,\Omega(W) \tag{12} $$

其中 \(\alpha>0\) 为正则强度。

4. 公共部分（优化与训练策略）

梯度下降更新： $$ W^{(l)}\leftarrow W^{(l)}-\eta\,\frac{\partial J}{\partial W^{(l)}},\quad b^{(l)}\leftarrow b^{(l)}-\eta\,\frac{\partial J}{\partial b^{(l)}} \tag{13} $$

Adam 优化（示意）： $$ m_t=\beta_1 m_{t-1}+(1-\beta_1)g_t,\quad v_t=\beta_2 v_{t-1}+(1-\beta_2)g_t^2 \tag{14} $$

$$ \hat{m}_t=\frac{m_t}{1-\beta_1^t},\quad \hat{v}_t=\frac{v_t}{1-\beta_2^t} \tag{15} $$

$$ \theta_t=\theta_{t-1}-\eta\frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\varepsilon} \tag{16} $$

系统支持提前停止（Early Stopping），在验证集指标长期无提升时终止训练以避免过拟合。

5. 公共部分（预处理与特征工程）

Z-score 标准化： $$ z_{ij}=\frac{x_{ij}-\mu_j}{\sigma_j} \tag{17} $$

Min-Max 归一化： $$ z_{ij}=\frac{x_{ij}-\min x_j}{\max x_j-\min x_j+\varepsilon} \tag{18} $$

One-Hot 编码： $$ x^{(k)}_{ij}= \begin{cases} 1,& x_{ij}=\text{cat}_k\\ 0,& \text{otherwise} \end{cases} \tag{19} $$

多项式特征： $$ \phi(x)=\{x_1^{a_1}x_2^{a_2}\cdots x_d^{a_d}\mid a_1+\cdots+a_d\le d_p\} \tag{20} $$

方差阈值： $$ \operatorname{Var}(x_j)=\frac{1}{n-1}\sum_{i=1}^{n}(x_{ij}-\mu_j)^2 \tag{21} $$

互信息： $$ I(X;Y)=\sum_{x\in X}\sum_{y\in Y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)} \tag{22} $$

PCA 协方差矩阵： $$ \Sigma=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(x_i-\bar{x})^\top \tag{23} $$

主成分解释率： $$ \eta_k=\frac{\lambda_k}{\sum_{j=1}^{d}\lambda_j} \tag{24} $$

训练/测试划分： $$ n_{\text{test}}=\left\lceil n\cdot \text{test\_size}\right\rceil,\quad n_{\text{train}}=n-n_{\text{test}} \tag{25} $$

6. 回归版（BP 回归）

6.1 回归评价指标

MAE： $$ \text{MAE}=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i| \tag{26} $$

MSE / RMSE： $$ \text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2 \tag{27} $$

$$ \text{RMSE}=\sqrt{\text{MSE}} \tag{28} $$

决定系数： $$ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2} \tag{29} $$

6.2 回归文字说明（可直接用于论文）

• 采用 BP 神经网络进行回归建模，在训练集拟合后在测试集输出预测值 \(\hat{y}\)。
• 使用 MAE、MSE、RMSE 与 \(R^2\) 衡量预测误差与拟合优度（见式(26)–(29)）。
• 输出预测–真实对比图、残差直方图、残差–拟合图与 Q-Q 图用于诊断模型稳定性。
• 若启用交叉验证，可进一步评估模型在不同折上的泛化能力。

7. 分类版（BP 分类）

7.1 分类评价指标

准确率： $$ \text{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN} \tag{30} $$

精确率与召回率： $$ \text{Precision}=\frac{TP}{TP+FP} \tag{31} $$

$$ \text{Recall}=\frac{TP}{TP+FN} \tag{32} $$

F1 分数： $$ \text{F1}=\frac{2\cdot \text{Precision}\cdot \text{Recall}}{\text{Precision}+\text{Recall}} \tag{33} $$

7.2 分类文字说明（可直接用于论文）

• 采用 BP 神经网络进行分类建模，输出类别预测与概率得分。
• 评价指标包括 Accuracy、Precision、Recall 与 F1（见式(30)–(33)）。
• 输出混淆矩阵、ROC/PR 曲线、阈值–TPR/FPR 曲线与校准曲线，用于全面衡量分类性能。
• 若类别不平衡，可通过类别权重或采样策略进行修正。

8. 符号说明表

9. 适用场景

• 分类任务：质量判别、风险预警、用户分层、故障识别等。
• 回归任务：指标预测、评分估计、产量/能耗/收益预测等。
• 中小规模特征数据：特征维度中等、非线性关系明显的场景适合使用 BP/MLP。

10. 注意事项

1. 任务类型选择：目标列为连续数值时应选择回归；分类需保证每类样本数≥2。
2. 标准化：BP 对特征缩放敏感，建议启用 Z-score 标准化。
3. 过拟合控制：可通过 L2 正则、提前停止、较小网络结构控制过拟合。
4. 类别不平衡：分类任务中如类别比例悬殊，建议启用类别权重或补采样。
5. 可解释性：神经网络为黑箱模型，建议结合特征重要性、敏感性分析或外部解释方法。

11. 结果解释模板（可直接用于论文）

分类结果描述示例：
“采用 BP 神经网络构建分类模型，测试集上 Accuracy、Precision、Recall、F1 以实际导出结果表中的指标列为准（式(30)–(33)）。
混淆矩阵显示主要误判集中在类别 A 与 B 之间；ROC/PR 曲线显示模型具有良好的区分能力。
整体而言，该模型在分类任务上表现稳定，可用于后续预测与决策支持。”

回归结果描述示例：
“采用 BP 神经网络构建回归模型，测试集 MAE、RMSE、\(R^2\) 以实际导出结果表中的指标列为准（式(26)–(29)）。
预测—真实值对比图与残差分布图显示残差近似对称分布，未见明显系统性偏差。
模型拟合效果较好，具备可用的预测精度。”

12. 与代码实现的对应关系

结合程序代码，BP 神经网络文档中的“训练曲线、学习曲线、调参与结果导出”都不是抽象描述，而是对应 具体的算法/BP神经网络/core/critic_calculator.py、core/bp_classifier.py、core/bp_regressor.py 与 ui/upload_widget.py 中的实际实现。

实现层面有几个关键点需要在论文与说明文档中保持一致：

1. 结果目录采用时间戳目录模式
   程序会在 results/ 下生成带时间戳的结果目录，Excel 与图表文件统一放在同一目录，避免论文插图和表格引用时出现路径分散。

2. BP 的导出内容明显多于普通监督学习模板
   除 原始数据、预测、指标、参数、图表清单 外，程序还可能导出 训练集数据、测试集数据、类别分布、混淆矩阵（表）、阈值建议、ROC曲线数据、PR曲线数据、残差明细、误差统计、置换重要性、KBest分数、PCA解释率、训练损失曲线数据、训练曲线、交叉验证、参数与配置、学习曲线数据、分类报告、调参结果 等。

3. 训练损失与学习曲线是两类不同输出
   loss_curve_ 对应的是神经网络迭代过程中的训练损失；
   学习曲线则对应“训练样本规模变化 -> 训练/验证得分变化”的外层评估。论文写作时不能把这两者混为一谈。

4. 分类与回归共用一套结果框架，但图表不同
   分类任务会输出混淆矩阵、ROC/PR、阈值建议、分类报告等；
   回归任务会输出预测-真实对比图、残差图、误差统计等。

5. 调参与重训逻辑在程序中是独立步骤
   若启用调参，Excel 中会额外出现 调参结果 与 最优参数（调参）；最终指标可能来自最优参数重训后的模型，因此正文中应明确说明“是否经过调参重训”。

6. 特征工程与模型超参数会被完整记录
   包括隐藏层结构、激活函数、学习率、正则项、随机种子、交叉验证折数、特征工程配置与图表导出选项等，均可在结果文件中直接追溯。

13. 论文写作模板

方法描述模板：
“本文采用 BP 神经网络（多层感知机）建立预测模型。建模前先对原始数据进行缺失值处理、编码、标准化及必要的特征工程操作，然后按训练集与测试集划分数据，并在训练集上完成网络参数学习。模型训练完成后，在测试集上输出逐样本预测结果与整体评价指标；同时结合交叉验证、学习曲线与训练损失曲线，对模型的稳定性与收敛特征进行分析。”

结果描述模板：
“程序导出的结果文件不仅包含测试集指标与逐样本预测，还包含训练损失曲线、学习曲线、分类报告/误差统计、参数配置与图表清单等内容。因而论文中既可以报告最终精度，也可以进一步说明模型收敛过程、样本规模敏感性及调参后的性能变化，从而提升结果章节的完整性与可复核性。”

14. 单篇终审补充

14.1 图题与表题对齐建议

• 阅读指南 表可写为：表X BP 神经网络结果文件阅读指南。
• 原始数据 表可写为：表X BP 神经网络原始数据表。
• 训练集数据 表可写为：表X BP 神经网络训练集数据表。
• 测试集数据 表可写为：表X BP 神经网络测试集数据表。
• 预测 表可写为：表X BP 神经网络逐样本预测结果表。
• 混淆矩阵（表） 表可写为：表X BP 神经网络混淆矩阵明细表。
• 混淆矩阵 表可写为：表X BP 神经网络混淆矩阵表。
• 训练损失曲线数据 表可写为：表X BP 神经网络训练损失曲线数据表。
• 训练曲线 表可写为：表X BP 神经网络训练过程摘要表。
• 指标 表可写为：表X BP 神经网络性能指标表。
• 参数 表可写为：表X BP 神经网络参数设置表。
• 参数说明 表可写为：表X BP 神经网络参数说明表。
• 交叉验证 表可写为：表X BP 神经网络交叉验证结果表。
• 报告摘要 表可写为：表X BP 神经网络结果摘要表。
• 图表清单 表可写为：表X BP 神经网络图表索引表。
• 参数与配置 表可写为：表X BP 神经网络参数与配置表。
• 参数与配置（分组） 表可写为：表X BP 神经网络分组参数配置表。
• training_loss.png 建议写为：图X BP 神经网络训练损失曲线图。
• confusion_matrix.png 建议写为：图X BP 神经网络混淆矩阵图。
• roc.png 建议写为：图X BP 神经网络 ROC 曲线图。
• pr.png 建议写为：图X BP 神经网络 PR 曲线图。
• threshold_tpr_fpr.png 建议写为：图X BP 神经网络阈值-TPR/FPR 曲线图。
• calibration.png 建议写为：图X BP 神经网络校准曲线图。
• class_distribution_triptych.png 建议写为：图X BP 神经网络类别分布图。

14.2 终审说明

• 当前最适合作为终审证据的代表性目录可采用 具体的算法/BP神经网络/results/BP神经网络分析结果_20260329_163614。该目录同时具备结果簿、实体图和 repro 脚本。
• 真实工作表为 阅读指南/原始数据/训练集数据/测试集数据/预测/混淆矩阵（表）/混淆矩阵/训练损失曲线数据/训练曲线/指标/参数/参数说明/交叉验证/报告摘要/图表清单/参数与配置/参数与配置（分组）。正文若讨论模型收敛，应优先引用 训练损失曲线数据 与 训练曲线。
• 当前真实图文件稳定为 training_loss.png、confusion_matrix.png、roc.png、pr.png、threshold_tpr_fpr.png、calibration.png、class_distribution_triptych.png。需要注意该目录里没有单独落地的 threshold_f1.png，终审说明应以真实目录为准。
• 当前复现脚本为 repro_bp_mlp_20260329_163614.py，其输入口径是 SRC_FILE = 'uploads/repro_inputs/bp_ui_flow_input.csv'。这不是“脚本同目录快照”，也不是纯 repro_inputs/...，而是依赖模块内 uploads/repro_inputs/ 的相对路径。
• 因此，BP 这篇的终审重点应放在“训练过程证据 + 分类图集 + 特殊 repro 相对路径口径”，不能简单套用普通分类器的模板。

14.3 全量强化补充

• 本轮按真实磁盘再次核对，算法目录为 具体的算法/BP神经网络，代表性结果目录为 具体的算法/BP神经网络/results/BP神经网络分析结果_20260329_163614。
• 该目录主工作簿为 BP神经网络分析结果_20260329_163614.xlsx，真实工作表为 阅读指南、原始数据、训练集数据、测试集数据、预测、混淆矩阵（表）、混淆矩阵、训练损失曲线数据、训练曲线、指标、参数、参数说明、交叉验证、报告摘要、图表清单、参数与配置、参数与配置（分组）。
• 当前目录根部实体图为 training_loss.png、confusion_matrix.png、roc.png、pr.png、threshold_tpr_fpr.png、calibration.png、class_distribution_triptych.png。该批次未见 threshold_f1.png，因此不应沿用其他时间戳目录的图清单。
• 当前 repro 口径比较特殊：repro_bp_mlp_20260329_163614.py 中明确写有 SRC_FILE = 'uploads/repro_inputs/bp_ui_flow_input.csv'。也就是说，它依赖算法模块根目录下的 uploads/repro_inputs/，不是结果目录内 repro_inputs/，这一点必须在附录或交付文档中单独说明。
• 这篇最强的论文证据是“分类图集 + 训练损失曲线 + 结构化工作簿”；若只引用最终指标表而忽略 训练损失曲线数据/训练曲线，会丢掉这篇相对其他传统分类器的关键差异。
• 当前目录只有主结果工作簿，没有额外 repro 输出工作簿，因此应把它表述成“主结果 + 外部路径复现脚本”的结构，而不是“双工作簿主/复现并列”的目录。

14.4 软件实现核查补充（2026-07）

• 当前实现并非纯理论 BP 直译，而是基于 core/bp_classifier.py / core/bp_regressor.py 的工程封装；文档中的前向传播、损失函数和梯度下降可以保留，但结果解释必须落回实际导出的分类/回归表。
• 代表性结果目录中真实存在训练损失、混淆矩阵、ROC/PR、阈值曲线、校准曲线与类别分布图，说明分类支路的可视化证据完整；回归支路则以误差指标、预测对比与残差诊断为主。
• 复现脚本 repro_bp_mlp_*.py 依赖 uploads/repro_inputs/bp_ui_flow_input.csv，这是模块内相对路径口径，不是结果目录同级快照，文中需单独说明。
• 原先模板中的占位数值已改为“以实际导出结果为准”，避免把未核实数值写成确定事实。
• 如果正文讨论网络层数、隐藏层规模、学习率或 early stopping，可继续保留为界面参数的工程说明，但不要写成软件已经自动搜索最优结构。