基于OpenPose的行为识别

2021-04-03

字数统计: 1.2k字 | 阅读时长≈ 5分

OpenPose的行为识别OpenPose地址

1.权重包的下载

BODY25

1	http://posefs1.perception.cs.cmu.edu/OpenPose/models/pose/body_25/pose_iter_584000.caffemodel

COCO

1	http://posefs1.perception.cs.cmu.edu/OpenPose/models/pose/coco/pose_iter_440000.caffemodel

MPI

1	http://posefs1.perception.cs.cmu.edu/OpenPose/models/pose/mpi/pose_iter_160000.caffemodel

face

1	http://posefs1.perception.cs.cmu.edu/OpenPose/models/face/pose_iter_116000.caffemodel

hand

1	http://posefs1.perception.cs.cmu.edu/OpenPose/models/hand/pose_iter_102000.caffemodel

2.简单的使用

在此目录下使用命令,linux和Windows都是一样的，只需要简单的换一下最开始的调用程序就可以了。

1 2	:: Windows - Portable Demo bin\OpenPoseDemo.exe --video examples\media\video.avi

1 2	# Ubuntu ./build/examples/openpose/openpose.bin

如果要检测手和脸

1	bin\OpenPoseDemo.exe --video examples\media\video.avi --face --hand

3.设置图片或者视频输出结果视频

保存图像

1	bin/OpenPoseDemo.exe --image_dir examples/media/ --write_images examples/media_out/

保存json文件，即为人体骨骼姿态的关节点数据文件

1	bin/OpenPoseDemo.exe --image_dir examples/media/ --write_keypoint_json examples/media_out/

保存yml文件，即为人体骨骼姿态的关节点数据文件

1	bin/OpenPoseDemo.exe --image_dir examples/media/ --write_keypoint examples/media_out/

4.注意事项

行为识别的算法和CNN都很复杂，识别一张正常的图片只用我的9400都要12s，建议调用显卡，显存至少4G以上，如果是识别视频，可以将视频拆成图片然后再进行一个识别，都是这样做的。

5.视频的拆分和合上

这里使用Python和Opencv（为什么Python,当然是简单，如果使用其他语言和Opencv也不是不可以，只不过会很复杂）为了保证图片在下面，程序命名采用A_xxx.py的命名方式，代码如下：

# A_togther.py照片的合并
import cv2
# 读取零散图片(上面分解的图片)，并将其合成视频
img = cv2.imread('image1_rendered.png')
imginfo = img.shape
size = (imginfo[1], imginfo[0])  # 与默认不同，opencv使用 height在前，width在后，所有需要自己重新排序
print(size)

# 创建写入对象，包括 新建视频名称，每秒钟多少帧图片(10张) ,size大小
# 一般人眼最低分辨率为19帧/秒
videoWrite = cv2.VideoWriter('4.mp4', -1, 10, size)

for i in range(1, 210):
    filename = 'image' + str(i) +'_rendered'+ '.png'
    img = cv2.imread(filename, 1)  # 1 表示彩图，0表示灰度图
    # 直接写入图片对应的数据
    videoWrite.write(img)
videoWrite.release()  # 关闭写入对象
print('end')

# A_split.py视频的分割
import cv2
import numpy as np
import os
os.chdir('D:/Codesave/Pycharm/cv-two')

# 读取视频，并逐帧分解成图片
cap = cv2.VideoCapture('video.mp4')  #打开一个视频
isOpened = cap.isOpened() #判断是否打开
print(isOpened)

# 获取视频的相关信息，视频的每一帧图片的宽度都是一致的
fps = cap.get(cv2.CAP_PROP_FPS) # 帧率，即每秒钟由多少张图片组成
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) # 获取宽度
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # 获取高度
print(fps,width,height)  # 输出相关信息

i = 0
while (isOpened):
    # 读取视频的前两秒的图像，共计2*int(fps)张
    if i == int(fps)*7:
        break
    else:
        i = i+1
    (flag,frame) = cap.read() # 读取每一张 flag frame
    filename = 'image'+str(i)+'.bmp'
    # 将读取的图片写入文件中，
    if flag == True:
        cv2.imwrite(filename,frame,[cv2.IMWRITE_JPEG_QUALITY,100])  #确定图片质量，100算是高的
print('end!')

# A_Change.py，这里是因为另外一个项目需要将视频进行二值化，网上找了一下程序没有找到
# 所以这里先对于需要二值化的视频进行了分割，这个程序本身和行为识别没有关系，只是在这里记录一下
import os
from PIL import Image

# 源目录
MyPath = 'D:/Codesave/Pycharm/cv-two/'
# 输出目录
OutPath = 'D:/Codesave/Pycharm/cv-two/change/'
def processImage(filesoure, destsoure, name, imgtype):
    '''
    filesoure是存放待转换图片的目录
    destsoure是存在输出转换后图片的目录
    name是文件名
    imgtype是文件类型
    '''
    imgtype = 'bmp' if imgtype == '.bmp' else 'png'
    # 打开图片
    im = Image.open(filesoure + name)
    # =============================================================================
    #     #缩放比例
    #     rate =max(im.size[0]/640.0 if im.size[0] > 60 else 0, im.size[1]/1136.0 if im.size[1] > 1136 else 0)
    #     if rate:
    #         im.thumbnail((im.size[0]/rate, im.size[1]/rate))
    # =============================================================================

    img = im.convert("RGBA")
    pixdata = img.load()
    # 二值化
    for y in range(img.size[1]):
        for x in range(img.size[0]):
            if pixdata[x, y][0] < 90:
                pixdata[x, y] = (0, 0, 0, 255)

    for y in range(img.size[1]):
        for x in range(img.size[0]):
            if pixdata[x, y][1] < 136:
                pixdata[x, y] = (0, 0, 0, 255)

    for y in range(img.size[1]):
        for x in range(img.size[0]):
            if pixdata[x, y][2] > 0:
                pixdata[x, y] = (255, 255, 255, 255)
    img.save(destsoure + name, imgtype)


def run():
    # 切换到源目录，遍历源目录下所有图片
    os.chdir(MyPath)
    for i in os.listdir(os.getcwd()):
        # 检查后缀
        postfix = os.path.splitext(i)[1]
        if postfix == '.bmp' or postfix == '.png':
            processImage(MyPath, OutPath, i, postfix)


if __name__ == '__main__':
    run()

本文作者： windfill
本文链接： https://windfill.github.io/article/f49ddd65.html
版权声明： 本作品采用 CC BY-NC-SA 4.0 许可协议进行许可，转载请注明出处！