首页 科技内容详情
拥有深度学习功能的相机,可以在视频中对多种动物进行高性能追踪

拥有深度学习功能的相机,可以在视频中对多种动物进行高性能追踪

分类:科技

网址:

SEO查询: 爱站网 站长工具

点击直达

usdt官网钱包www.caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键出售Usdt。

,

EPFL大学的研究人员通过扩展他们的软件DeepLabCut,在计算机辅助动物跟踪方面取得了长足的进步,可以在视频中对多种动物进行高性能跟踪。


捕捉动物行为的能力对于神经科学、生态学和许多其他领域至关重要。相机是捕捉精细行为的理想选择,但是发展计算机视觉技术提取动物的行为具有挑战性,尽管这对我们自己的视觉系统来说似乎毫不费力。



量化动物行为的一个关键方面是“姿势估计”,这是指计算机识别动物姿势(不同身体部位的位置和方向)的能力。在实验室环境中,可以通过在动物身上放置标记来辅助姿势估计,就像电影中使用的动作捕捉技术一样(想想《指环王》中的咕鲁)。但是可以想象,让动物穿上特殊的装备并不是一件容易的事情,在野外是完全不可能的,也是不道德的。


出于这个原因,EPFL大学的Alexander Mathis和Mackenzie Mathis教授一直在开拓对动物的“无标记”追踪。他们的软件依靠深度学习来“教”计算机执行姿势估计,而不需要物理或虚拟标记。


他们的团队一直在开发DeepLabCut源代码开放的,深度学习“动物姿态估计包”可以执行动物的无标记运动捕捉。2018年,他们发布了DeepLabCut,该软件在生命科学:软件下载次数超过350,000次,引用次数接近1,400次。然后,在2020年,马西斯团队发布了DeepLabCut-Live!,DeepLabCut的实时低延迟版本,允许研究人员快速向他们正在研究的动物提供反馈。


现在,科学家们已经扩展了DeepLabCut,以解决姿态估计中的另一个挑战:跟踪群居动物,甚至是密切互动的;例如,养育老鼠或鱼群。这里的挑战是显而易见的:个体动物可能看起来非常相似,以至于它们会混淆计算机,它们可能会彼此模糊,并且可能有许多研究人员希望跟踪的“关键点”,这使得高效处理计算变得困难。



为了解决这个问题挑战,他们首先创建了四个不同难度的数据集,用于对多动物姿态估计网络进行基准测试。这些数据集是与麻省理工学院和哈佛大学的同事一起收集的,包括三只在开阔地上的老鼠,老鼠的家庭笼养育,一对住在大围栏里的狨猴,以及14条在流动水槽里的鱼。有了这些数据集,研究人员能够开发新方法来解决现实世界追踪的困难。


DeepLabCut通过集成新颖的网络架构、数据驱动的装配(哪个关键点属于哪个动物)和定制的姿势跟踪方法来应对这些挑战。具体来说,研究人员创建了一种新的多任务神经网络,可以直接从单帧中预测关键点、肢体以及动物身份。他们还开发了一种对身体规划“不可知”的组装算法,这在处理体型差异很大的动物时非常重要。这些方法在从鱼类到灵长类动物的身体计划上得到了验证。


此外,科学家们开发了一种从视频中识别个体动物的方法,无需任何“地面真相”身份数据。Mackenzie Mathis说:“想象一下,可靠地标记出哪只实验室老鼠是哪只老鼠是多么困难。”"它们看起来与人眼非常相似,因此这项任务几乎不可能完成。"


这新算法是基于视觉变压器的度量学习,允许科学家甚至重新识别动物,并在多个动物从视野中隐藏并在稍后重新出现时继续跟踪它们。研究人员还使用了一种基于外观的方法来分析几对狨猴在9个小时的视频中的行为——几乎有100万帧。这种方法的一个启示是,狨猴,一种高度社会化的物种,喜欢一起看相似的方向。


“全世界有数百个实验室正在使用DeepLabCut,并使用它来分析从面部表情从老鼠到灵长类动物,”亚历山大·马西斯说。我真的很期待看到社区将如何利用扩展的工具箱来分析社会互动。"


注:文章内的所有配图皆为网络转载图片,侵权即删!

发布评论