打架识别,基于循环神经网络RNN的视频分类任务

人工智能
对于视频分类任务,不需要Decoder​网络,用多头自注意力模型​搭建一个 Encoder网络即可。

哈喽,大家好。

今天给大家分享AI项目——打架识别。

图片

使用的技术跟我们上次分享的摔倒识别不同,摔倒识别使用的是基于骨骼点的时空卷积神经网络,适用于人体骨骼行为,而这次分享的打架识别使用的是循环神经网络RNN,可以实现更通用的视频分类任务。

当然也可以用Vision Transformer,文中也有介绍。

代码已经打包好了,获取方式见评论区。

1. 整体思路

视频其实就是某种行为的连续序列,因此要使用序列模型处理,循环神经网络RNN就是序列模型。

RNN最初应用在自然语言处理中,如:根据输入词,判断下一次词的概率

图片

模型为了读懂每个词代表的含义,模型会把每个词用n维向量表示,这个过程  其实就是word embedding。

按照这个思路,一段视频其实就是一句话,视频里每张画面就是一个词,同样地,我们也可以用卷机神经网络将每张图映射成n维向量。

所以,我们就可以训练一个RNN模型,将表示视频的n维向量送入RNN模型,让他输出视频类别的概率。

现在比较流行的RNN模型有LSTM、GRU,本文使用的是GRU。

2. 数据集

打架的开源数据集有很多,如:fight-detection-surv-dataset、A-Dataset-for-Automatic-Violence-Detection-in-Videos和UBI_FIGHTS等等。

我使用的是fight-detection-surv-dataset数据集,包括 150 个打架视频和 150 个正常视频。

数据集很小,训练的时候很容易过拟合,精度只有 70%。但思路和代码都是可以复用的。

大家做的时候可以换成大的数据集,比如:ucf数据,包含很多动作视频

图片

ucf50数据集

我用这个数据集训练过 GRU 和 Transformer模型,效果还可以。

3. 提取视频特征

接下来,我们要做的就是提取视频特征,将视频中每张画面映射成n维向量。

使用InceptionResNetV2网络,输入一张图片,输出的是 1536 维向量。

def video_feat_extractor():
inception_resnetv2 = InceptionResNetV2(
include_top=False,
weights='imagenet',
pooling='avg',
input_shape=(IMAGE_SIZE, IMAGE_SIZE, 3))

inputs = tf.keras.Input(shape=(IMAGE_SIZE, IMAGE_SIZE, 3))
inputs_preprocessed = preprocess_input(inputs)
outputs = inception_resnetv2(inputs_preprocessed)

return tf.keras.Model(inputs, outputs, name='video_feat_extractor')

这样,词向量就已经有了。然后再抽取每个视频的前20帧,组成一个句子。

MAX_FRAMES = 20
video_feat_extractor_model = video_feat_extractor()

# 取前MAX_FRAMES帧
frames = frames[:MAX_FRAMES]
# 计算视频特征
video_feat = video_feat_extractor_model(frames)
dataset_feats.append(video_feat)

dataset_feats是20 * 1536的向量。

这样,我们就将一个视频用向量形式表示出来了。

4. 循环神经网络

GRU是LSTM的一个变种

图片

模型搭建也比较简单。

model = keras.Sequential([
layers.InputLayer(input_shape=(MAX_FRAMES, FRAME_FEAT_LEN)),

layers.GRU(4, return_sequences=False),
layers.Dropout(0.1),
layers.Dense(class_num, activatinotallow='softmax')
])

GRU超参数 4 代表 4 个 unit,即:模型输出向量长度是 4,大家如果做其他分类任务,可以尝试调整该值。

图片

编译模型

model.compile(optimizer=optimizers.Adam(0.0001), 
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])

这是个多分类任务,因此损失函数使用sparse_categorical_crossentropy。

接着就可以训练模型了,模型在训练集和测试集精度如下:

图片

5. vision transformer

同样的,我们也可以用流行的Transformer来训练视频分类模型

图片

对于视频分类任务,不需要Decoder网络,用多头自注意力模型搭建一个 Encoder网络即可。

关于vision transformer后续有机会的话我会专门分享一个项目,这次代码以GRU为主。

责任编辑:武晓燕 来源: 渡码
相关推荐

2022-04-22 12:36:11

RNN神经网络)机器学习

2022-10-19 07:42:41

图像识别神经网络

2022-06-16 10:29:33

神经网络图像分类算法

2017-06-19 15:12:30

Uber神经网络事件预测

2017-11-29 13:55:55

神经网络循环神经网络RNN

2020-12-19 11:05:57

循环神经网络PyTorch神经网络

2018-07-04 15:17:07

CNNNLP模型

2020-09-09 09:51:41

神经网络DA技术感知器

2022-10-11 23:35:28

神经网络VGGNetAlexNet

2019-10-25 16:18:34

机器学习人工智能计算机

2018-07-29 06:46:07

神经网络RNN循环神经网络

2017-12-14 21:17:24

2018-12-20 11:38:37

神经元神经网络语言

2017-11-29 14:41:48

神经网络递归神经网络RNN

2017-04-26 09:30:53

卷积神经网络实战

2017-08-28 21:31:37

TensorFlow深度学习神经网络

2021-06-21 10:43:25

Python神经网络深度学习

2018-02-09 09:59:12

神经网络算法识别

2022-12-14 08:25:10

2023-02-28 08:00:00

深度学习神经网络人工智能
点赞
收藏

51CTO技术栈公众号