1.1 简介
深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(Data Augmentation)来增加训练样本的多样性, 提高模型鲁棒性,避免过拟合。
在计算机视觉中,典型的数据增强方法有翻转(Flip),旋转(Rotat ),缩放(Scale),随机裁剪或补零(Random Crop or Pad),色彩抖动(Color jittering),加噪声(Noise)
笔者在跟进视频及图像中的人体姿态检测和关键点追踪(Human Pose Estimatiion and Tracking in videos)的项目。因此本文的数据增强仅使用——翻转(Flip),旋转(Rotate ),缩放以及缩放(Scale)
2.1 裁剪(Crop)
- image.shape--([3, width, height])一个视频序列中的一帧图片,裁剪前大小不统一
- bbox.shape--([4,])人体检测框,用于裁剪
- x.shape--([1,13]) 人体13个关键点的所有x坐标值
- y.shape--([1,13])人体13个关键点的所有y坐标值
def crop(image, bbox, x, y, length): x, y, bbox = x.astype(np.int), y.astype(np.int), bbox.astype(np.int) x_min, y_min, x_max, y_max = bbox w, h = x_max - x_min, y_max - y_min # Crop image to bbox image = image[y_min:y_min + h, x_min:x_min + w, :] # Crop joints and bbox x -= x_min y -= y_min bbox = np.array([0, 0, x_max - x_min, y_max - y_min]) # Scale to desired size side_length = max(w, h) f_xy = float(length) / float(side_length) image, bbox, x, y = Transformer.scale(image, bbox, x, y, f_xy) # Pad new_w, new_h = image.shape[1], image.shape[0] cropped = np.zeros((length, length, image.shape[2])) dx = length - new_w dy = length - new_h x_min, y_min = int(dx / 2.), int(dy / 2.) x_max, y_max = x_min + new_w, y_min + new_h cropped[y_min:y_max, x_min:x_max, :] = image x += x_min y += y_min x = np.clip(x, x_min, x_max) y = np.clip(y, y_min, y_max) bbox += np.array([x_min, y_min, x_min, y_min]) return cropped, bbox, x.astype(np.int), y.astype(np.int)
2.2 缩放(Scale)
- image.shape--([3, 256, 256])一个视频序列中的一帧图片,裁剪后输入网络为256*256
- bbox.shape--([4,])人体检测框,用于裁剪
- x.shape--([1,13]) 人体13个关键点的所有x坐标值
- y.shape--([1,13])人体13个关键点的所有y坐标值
- f_xy--缩放倍数
def scale(image, bbox, x, y, f_xy): (h, w, _) = image.shape h, w = int(h * f_xy), int(w * f_xy) image = resize(image, (h, w), preserve_range=True, anti_aliasing=True, mode='constant').astype(np.uint8) x = x * f_xy y = y * f_xy bbox = bbox * f_xy x = np.clip(x, 0, w) y = np.clip(y, 0, h) return image, bbox, x, y
2.3 翻转(fillip)
这里是将图片围绕对称轴进行左右翻转(因为人体是左右对称的,在关键点检测中有助于防止模型过拟合)
def flip(image, bbox, x, y): image = np.fliplr(image).copy() w = image.shape[1] x_min, y_min, x_max, y_max = bbox bbox = np.array([w - x_max, y_min, w - x_min, y_max]) x = w - x x, y = Transformer.swap_joints(x, y) return image, bbox, x, y
翻转前:
翻转后:
2.4 旋转(rotate)
angle--旋转角度
def rotate(image, bbox, x, y, angle): # image - -(256, 256, 3) # bbox - -(4,) # x - -[126 129 124 117 107 99 128 107 108 105 137 155 122 99] # y - -[209 176 136 123 178 225 65 47 46 24 44 64 49 54] # angle - --8.165648811999333 # center of image [128,128] o_x, o_y = (np.array(image.shape[:2][::-1]) - 1) / 2. width,height = image.shape[0],image.shape[1] x1 = x y1 = height - y o_x = o_x o_y = height - o_y image = rotate(image, angle, preserve_range=True).astype(np.uint8) r_x, r_y = o_x, o_y angle_rad = (np.pi * angle) /180.0 x = r_x + np.cos(angle_rad) * (x1 - o_x) - np.sin(angle_rad) * (y1 - o_y) y = r_y + np.sin(angle_rad) * (x1 - o_x) + np.cos(angle_rad) * (y1 - o_y) x = x y = height - y bbox[0] = r_x + np.cos(angle_rad) * (bbox[0] - o_x) + np.sin(angle_rad) * (bbox[1] - o_y) bbox[1] = r_y + -np.sin(angle_rad) * (bbox[0] - o_x) + np.cos(angle_rad) * (bbox[1] - o_y) bbox[2] = r_x + np.cos(angle_rad) * (bbox[2] - o_x) + np.sin(angle_rad) * (bbox[3] - o_y) bbox[3] = r_y + -np.sin(angle_rad) * (bbox[2] - o_x) + np.cos(angle_rad) * (bbox[3] - o_y) return image, bbox, x.astype(np.int), y.astype(np.int)
旋转前:
旋转后:
3 结果(output)
数据增强前的原图:
数据增强后:
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 魔兽世界wlk敏锐贼一键输出宏是什么 wlk敏锐贼一键输出宏介绍
- 李逸朗2007-李威乐[英皇娱乐][WAV+CUE]
- DavidVersace-EyetoEye(2024)[24-44,1]
- SimoneLamsma,RobertKulek-Mendelssohn,Janacek,Schumann-SonatasforViolinandPiano【SAC
- 《街头篮球》大动作:新增五大服务器节点 优化玩家体验
- 任天堂宣布推出音乐APP!仅面向NSO订阅用户
- 《马路RPG:兄弟齐航》新预告!兄弟携手海岛冒险
- 王子鸣.2009-永远【九洲】【WAV分轨】
- 杭天琪.2002-水与火的缠绵【泰达】【WAV+CUE】
- 邱锋泽.2024-COlOR.Free【发现梦想】【FLAC分轨】
- 群星 《10年朋友Vol.8》滚石台湾版[WAV+CUE][1.G]
- 群星《2024好听新歌31》十倍音质 U盘音乐 [WAV分轨][1.1G]
- 群星《全天后》华纳[WAV+CUE][1.1G]
- 许乐《声愿HQCD》[正版原抓WAV+CUE]
- 黄凯芹《给你留念》头版限量编号MQA-UHQCD2024[低速原抓WAV+CUE]