探索大型神经网络智能调参（一）：构建大规模BPNN

摘要：此神经网络有个隐含层，每层个节点，个是一个预测类的后向反馈神经网络，建立值用以量化某声学设备设计方案的好坏和个设计尺寸的函数关系。导入依赖库用以处理矩阵数据，用以可视化，用以训练后向反馈神经网络。

我们正在研究如何用更廉价、更高效、鲁棒性更好的方法对大宽度、大深度的神经网路进行调参（hidden layer的层数，每层layer的节点，epochs，batch_size）。
无论如何，先构建一个规模较大的神经网络，要保证训练的时间（即使使用GPU计算）。
此神经网络有9个隐含层，每层400个节点，1450401个trainable parameters,是一个预测类的后向反馈神经网络，建立feval值（用以量化某声学设备设计方案的好坏）和15个设计尺寸的函数关系。

1.导入依赖库

pandas用以处理矩阵数据，matplotlib用以可视化，keras用以训练后向反馈神经网络。

import pandas as pd
import matplotlib.pyplot as plt
from keras.models import Sequential
from keras.layers.core import Dense,Dropout, Activation
from keras.utils.vis_utils import plot_model

2.导入EXCEL文件中的数据

定义输入文件、输出文件、模型参数保存文件的目录；
读取excel数据，定义15个feature和1个Label；
截取前40000个example作为训练数据集。

inputfile = "Dataset.xlsx"
outputfile = "output.xls"
modelfile = "modelweight.model"
data = pd.read_excel(inputfile,index="index",sheetname=0)
feature = ["l1","l2","l3","l4","l5",
           "p1","p2","p3","p4","p5",
           "h1","h2","h3","h4","h5"]
label = ["feval"]
data_train = data.loc[range(0,40000)].copy()

3.将数据归一化，提高训练效率
计算各个特征和标签的平均值和标准差，用来做线性变换将数据归一化，并转化为矩阵格式。

data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean)/data_std
x_train = data_train[feature].as_matrix()
y_train = data_train[label].as_matrix()

4.建立深度学习模型
Sequential类的模型，输入层接受15个输入，输出到第一个隐藏层的400个神经元中，其后9个隐藏层都接受400个输入并产生400个输出。输入层和隐藏层都采用ReLu作为激活函数，Dropout概率都为1%。
采用均方根误差（mse）值作为loss value，优化器使用adam。
打印summary，并将结构图保存为png文件。

model = Sequential()
model.add(Dense(400,input_dim=15,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(1,input_dim=400))
model.compile(loss="mean_squared_error", optimizer="adam")
print(model.summary())
plot_model(model, to_file="bpnn_predict_model.png",show_shapes=True)

5.训练模型
迭代200次，每一次批量梯度下降使用256个样本。

model.fit(x_train, y_train, epochs = 200, batch_size = 256)

最终loss值稳定在0.0035左右

6.测试模型
将data数据归一化后使用训练的模型预测tl值，并保存到excel文件中。

x = ((data[feature] - data_mean[feature])/data_std[feature]).as_matrix()
data[u"feval_pred"] = model.predict(x) * data_std["feval"] + data_mean["feval"]
data.to_excel(outputfile)

打印预测值（除去训练集样本）并与真实值进行对比。

plt.xlim(6000, 16000)
plt.ylim(6000, 16000)
plt.gca().set_aspect(1)
plt.scatter(data["feval_pred"][40000:],data["feval"][40000:],s=1, c="b", marker=".")
plt.show()