人工智能可依声预测手势

2019-06-25 中国科学报

  当你说话时,你的身体会随之移动,无论是眼睛睁大这样的细微举动,还是挥舞手臂这一类大幅度动作。日前,研究人员已经设计出一种人工智能程序,它可以完全基于你的声音了解你将如何移动。

  研究人员收集了10个人总长144个小时的视频,其中包括一位修女、一位化学老师和五位电视节目主持人。他们使用现有的算法生成演讲者手臂和手位置的骨架图。然后,他们利用数据训练自己的算法,这样人工智能就可以根据演讲者最新的音频预测其手势。

  已生成的手势比随机选择的同一演讲者的手势更接近现实。日前,研究人员在计算机视觉与模式识别会议上发表报告称,演讲者的手势也很独特。用一个人进行训练并预测另一个人的手势并不奏效。将预测的手势输入到已存在的图像生成算法中,可以生成半真实的视频。

  研究小组下一步计划不仅基于音频预测手势,还将根据文字记录来预测手势。潜在应用包括创建动画角色、自动导航机器人,或者根据人的运动特征识别假视频。

 

  作者:谷双双

  来源:中国科学报 2019年6月25日

  http://news.sciencenet.cn/sbhtmlnews/2019/6/347127.shtm?id=347127

  版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

  电话:(010)63581767

  邮箱:zhiku@scimall.org.cn