目录
- 简介
- 神经网络类型和用法总结
-
- 1. 卷积神经网络CNN
-
- 特点
- 结构
- 用处
- 2. 循环神经网络RNN
-
- 特点
- 结构
- 用处
- 3. 长短期记忆网络LSTM
-
- 特点
- 结构
- 用处
- 基于Keras的神经网络用法总结
-
- 1. 创建
- 2. 编译
- 3. 训练
- 4. 保存
- 5. 预测
简介
准备写个系列博客介绍机器学习实战中的部分公开项目。首先从初级项目开始。
本文对机器学习实战三个初级项目中涉及的神经网络算法以及基于Keras的神经网络语法进行总结。
三个初级项目分别为:
第一篇:机器学习实战 | emojify 使用Python创建自己的表情符号(深度学习初级)
第二篇:机器学习实战 | MNIST手写数字分类项目(深度学习初级)
第三篇:机器学习实战 | 股票价格预测项目(深度学习初级)
神经网络类型和用法总结
这三个初级项目中分别用了卷积神经网络CNN和长短期记忆神经网络LSTM。此外,为了更好的解释LSTM神经网络,这里还给出了LSTM网络的基础——循环神经网络RNN的介绍。
因此本文共介绍CNN、RNN和LSTM这三种神经网络的特点和用法。
参考网址:
- 四种基本的神经网络架构
- 机器学习-常用八大神经网络框架
- 机器学习系列 | ML需要了解的十大神经网络架构
- 深度学习-常见神经网络
1. 卷积神经网络CNN
特点
卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。
在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。
在CNN的一个卷积层中,通常包含若干个特征平面(featureMap),每个特征平面由一些矩形排列的的神经元组成,同一特征平面的神经元共享权值,这里共享的权值就是卷积核。
卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值。
共享权值(卷积核)带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。
子采样也叫做池化(pooling),通常有均值子采样(mean pooling)和最大值子采样(max pooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度,减少了模型的参数。
结构
当输入图像被送入卷积神经网络后,先后要循环通过卷积层、激励层和池化层,最后从全连接层输出分类结果。除了卷积层,卷积网络通常也以池化层(pooling layer)为特色。
-
输入层
输入数据,通常会做一些数据处理,例如去均值、归一化等。 -
卷积层
卷积层是卷积神经网络的核心部分,参数是一个或多个随机初始化的核函数,核函数就像按照灯一样,逐行逐列扫描输入图像。
扫描完毕后计算出的所有卷积结果可以构成一个矩阵,这个新的矩阵叫特征映射(feature map)。卷积层得到的特征一般会送到激励层处理。 -
激励层
主要作用是将卷积层的结果做非线性映射。
常见的激励层函数有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxout。 -
池化层
在连续的卷基层和激励层中间,用于压缩数据和参数的量,用于减少过拟合。
简而言之,如果输入是图像的话,那么池化层的最主要作用就是压缩图像。
常见的最大池化做法就是将特征映射划分为若干个矩形区域,挑选每个区域中的最大值。 -
全连接层
两层之间所有神经元都有权重连接,通常全连接层在卷积神经网络尾部,输出分类结果。
卷积神经网络的作用是逐层提取输入对象的特征,训练采用的也是反向传播的方法,参数的不断更新能够提升图像特征提取的精度。
用处
卷积神经网络主要是用于图像处理,也可以用于其他数据类型的处理,如音频文件。
2. 循环神经网络RNN
特点
卷积神经网络具有空间上的参数共享的特性,可以让同样的核函数应用在图像的不同区域。输出时只考虑前一个输入的影响,而不考虑不同时刻输入的影响。
把参数共享调整到时间维度上,让神经网络使用相同权重系数来处理具有先后顺序的数据,得到的就是循环神经网络。
循环神经网络(Recurrent Neural Network),也可以表示递归神经网络(Recursive Neural Network)。
-
时间
循环神经网络引入了“时间”的维度,适用于处理时间序列类型的数据。
循环神经网络就是将长度不定的输入分割为等长的小块,再使用相同的权重系统进行处理,从而实现对变长输入的计算与处理。 -
记忆
循环神经网络t时刻的输出取决于当前时刻的输入,也取决于网络前一时刻t-1
甚至更早的输出。
从这个意义上来讲,循环神经网络引入了反馈机制,因而具有了记忆功能。
记忆功能使循环神经网络能够提取来自序列自身的信息,输入序列的内部信息存储在神经网络的隐藏层中,并随着时间的推移在隐藏层中流转。
结构
RNN的基本结构包括输入层、隐藏层和输出层。
隐藏层的状态会随时间步更新,并作为下一时间的输入之一。
这种循环连接使得RNN具有记忆能力,能够捕捉序列中数据的依赖关系。
用处
RNN是一种专门处理序列数据的神经网络结构,它的特点是具有循环连接,能够在网络中传递信息,从而捕捉序列中的时序依赖关系。
RNN可用于处理文本数据、时间序列数据、语音信号等。
3. 长短期记忆网络LSTM
特点
RNN通过在时间共享参数引入了记特性,从而可以将先前的信息应用在当前的任务上,可是这种记忆通常只有有限的深度。
长短期记忆网络(LSTM,Long Short-Term Memory)是一种时间循环神经网络,为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的。
LSTM可以像人的记忆中选择性地记住一些时间间隔更久远的信息,它会根据组成元素的特性,来判断不同信息是被遗忘或被记住继续传递下去。
LSTM就是实现长期记忆用的,实现任意长度的记忆。要求模型具备对信息价值的判断能力,结合自身确定哪些信息应该保存,哪些信息该舍弃,元还要能决定哪一部分记忆需要立刻使用。
结构
LSTM通常由下面4个模块组成:
-
记忆细胞(memory cell)
作用是存储数值或状态,存储的时限可以是长期也可以是短期 -
输入门(input gate)
决定哪些信息在记忆细胞中存储 -
遗忘门(forget gate)
决定哪些信息从记忆细胞中丢弃 -
输出门(output gate)
决定哪些信息从记忆细胞中输出
用处
由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
基于Keras的神经网络用法总结
序贯型神经网络搭建-编译-训练全流程:
from keras.models import Sequential
from keras.layers import LSTM, Dropout, Dense
x_train = ***
y_train = ***
model = Sequential()
model.add(LSTM(units=50, return_sequences=True, input_shape=(x_train.shape[1], 1)))
model.add(LSTM(units=50))
model.add(Dense(1))
"""
往下可以继续接神经网络结构。。。
"""
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(x_train, y_train, epochs=1, batch_size=1, verbose=2)
model.save("saved_model.h5")
Sequential
: 序贯模型,与函数式模型对立。from keras.models import Sequential, 序贯模型通过一层层神经网络连接构建深度神经网络。
add
: 叠加网络层,输入参数可选为:
- conv2D卷积神经网络层,
- MaxPooling2D二维最大池化层,
- Dropout随机失活层(防止过拟合),
- Dense密集层(全连接FC层,在Keras层中FC层被写作Dense层)。
1. 创建
model = Sequential()
model.add(LSTM(units=50, return_sequences=True, input_shape=(x_train_data.shape[1], 1)))
model.add(LSTM(units=50))
model.add(Dense(1))
2. 编译
model.compile(loss='mean_squared_error', optimizer='adam')
complie
: 编译神经网络结构,输入参数包括:
- loss,字符串结构,指定损失函数(包括MSE等);
- optimizer,表示优化方式(优化器),用于控制梯度裁剪;
- metrics,列表,用来衡量模型指标,表示评价指标。
3. 训练
model.fit(x_train, y_train, epochs=1, batch_size=1, verbose=2)
fit
: 在搭建完成后,将数据送入模型进行训练。输入参数包括:
- x:训练数据输入;
- y:训练数据输出;
- batch_size: batch样本数量,即训练一次网络所用的样本数;
- epochs:迭代次数,即全部样本数据将被“轮”多少次,轮完训练停止;
- verbose:可选训练过程中信息是否输出参数,0表示不输出信息,1表示显示进度条(一般默认为1),2表示每个epoch输出一行记录;
4. 保存
# 用法一
model.save("saved_model.h5")
# 用法二
model.save_weights('emotion_model.h5')
save
: 保存训练模型权重,训练成功后,会在源目录下保存***.h5
文件,即为权重文件。
5. 预测
model.predict(x_test)
predict
:利用训练好的模型权重lstm_model,对测试数据进行预测。
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
相关推荐: ChatGPT国内镜像站免费国内镜像推荐(超稳定)机器人博弈ai泰cool辣道合顺二狗问答核桃WOChatGPT中文站TomChat
免费国内镜像推荐(超稳定) 下面为大家收集了目前国内最稳定流畅的ChatGPT镜像网站 目录 机器人 博弈ai 泰cool辣 道合顺 二狗问答 核桃 WOChat GPT中文站 TomChat 利用ChatGPT+MindShow三分钟生成PPT …