Skip to content

在设计神经网络的过程中一般都会有许多的超参数需要进行调节,其中就包括学习率,批处理的batch大小,隐藏层中隐藏结点的个数,滑动平均模型的参数,模型训练的代数等等。正是由于需要调节的参数众多,采用传统的网格超参数调节的方法需要花费大量的时间,而且一般情况下,我们都是针对于特定结构的神经网络来进行参数的调节的,也就是说在设计神经网络之初,神经网络的结构基本上已经确定下来了,训练的只是不同结点之间的权重,比如传统的前馈神经网络3层架构输入层-隐藏层-输出层等,其一般层数都是固定的,而且神经元之间一般不会隔层进行连接。因为神经网络的结构千变万化,如果需要对各种不同的组合都进行尝试,其复杂度将难以想象。本文旨在通过进化算法的思想,利用遗传算法对神经网络结构中的结点以及结点之间的边进行编码,在B…

Notifications You must be signed in to change notification settings

yangyuqing15715165798/-NEAT-

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

-NEAT-

参考网址:https://github.com/SaulZhang/EvolutionNeuralNetwork 在设计神经网络的过程中一般都会有许多的超参数需要进行调节,其中就包括学习率,批处理的batch大小,隐藏层中隐藏结点的个数,滑动平均模型的参数,模型训练的代数等等。正是由于需要调节的参数众多,采用传统的网格超参数调节的方法需要花费大量的时间,而且一般情况下,我们都是针对于特定结构的神经网络来进行参数的调节的,也就是说在设计神经网络之初,神经网络的结构基本上已经确定下来了,训练的只是不同结点之间的权重,比如传统的前馈神经网络3层架构输入层-隐藏层-输出层等,其一般层数都是固定的,而且神经元之间一般不会隔层进行连接。因为神经网络的结构千变万化,如果需要对各种不同的组合都进行尝试,其复杂度将难以想象。本文旨在通过进化算法的思想,利用遗传算法对神经网络结构中的结点以及结点之间的边进行编码,在Breast Cancer Wisconsin (Diagnostic) Data Set 数据集上进行实验,利用遗传算法的优胜劣汰的进化过程,通过选择、交叉以及变异的过程不断地更新种群,保留下适应度高的个体,最后得到的表现最佳的模型及其拓扑结构,通过机器自动学习到一个表现较佳的模型结构,并与其他方法在该数据集上的表现进行对比。

About

在设计神经网络的过程中一般都会有许多的超参数需要进行调节,其中就包括学习率,批处理的batch大小,隐藏层中隐藏结点的个数,滑动平均模型的参数,模型训练的代数等等。正是由于需要调节的参数众多,采用传统的网格超参数调节的方法需要花费大量的时间,而且一般情况下,我们都是针对于特定结构的神经网络来进行参数的调节的,也就是说在设计神经网络之初,神经网络的结构基本上已经确定下来了,训练的只是不同结点之间的权重,比如传统的前馈神经网络3层架构输入层-隐藏层-输出层等,其一般层数都是固定的,而且神经元之间一般不会隔层进行连接。因为神经网络的结构千变万化,如果需要对各种不同的组合都进行尝试,其复杂度将难以想象。本文旨在通过进化算法的思想,利用遗传算法对神经网络结构中的结点以及结点之间的边进行编码,在B…

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published