第一手经验:深度学习让截肢者控制假肢手,电子游戏

通过 布莱恩·考尔菲德

这项开创性的研究将截肢者的想法转化为手指动作,甚至是电子游戏中的指令,为人类用大脑控制任何数字事物开辟了可能性。

一组研究人员使用gpu训练了一个能够在紧凑、节能的设备上运行的人工智能神经解码器英伟达杰森纳米系统模块(SOM)将46岁的肖恩·芬德利的想法转化为单个手指动作。

如果这一突破还不够的话,该团队还将Findley插入了一台正在运行的PC机上5相距甚远雷电四世在那里,他让自己的游戏角色用意念移动、跳跃,甚至驾驶一架虚拟直升机。

这个演示不仅承诺给截肢者更自然和反应控制他们的假肢。有一天,它可能会给用户提供几乎超人的能力。

这方面的努力在一份草稿或预印本中有详细说明,标题为“基于深度学习的手指控制的便携式、自给自足的神经假肢手它详细描述了一个系统背后非凡的跨学科合作,实际上,这个系统允许人类用思想控制几乎任何数字化的东西。

“这一想法是直观的视频游戏玩家,”本文的领先作者和现在一名明尼苏达大学的博士后研究人员副教授志阳建议。

Nguyen是一个狂热的游戏玩家,拥有电子工程学士学位和生物医学工程博士学位,他说:“我们的系统不是映射到一只虚拟的手,而是映射到按键——五分钟后,我们就在玩一个电子游戏了。”

17年前,肖恩·芬德利在一次事故中失去了一只手,现在他能够使用人工智能解码器将自己的想法实时转化为行动。

简而言之,芬德利是德克萨斯州东部的一名牧师,17年前在一家机械工厂的一次事故中失去了一只手Nguyen解释说,他能够使用在NVIDIA TITAN X GPU上训练并部署在NVIDIA Jetson上的AI解码器,在另一个NVIDIA GPU上运行的虚拟环境中,将他的想法实时转化为行动。

仿生计划

芬德利是参与美国国防高级研究计划局HAPTIX项目支持的临床试验的少数患者之一。

这项人体生理学研究由神经科学家和电生理学家爱德华·基弗(Edward Keefer)和德克萨斯大学西南医学中心的乔纳森·程(Jonathan Cheng)博士领导。

该团队与阳和副教授齐钊副教授合作,该团队收集了大规模人体神经数据,是首批在便携式平台中实施深层学习神经解码器的临床神经调节应用。

这项努力旨在改善全世界数百万令人愉快的生活。每年超过一百万人失去截肢。这是每30秒一次。

假肢在过去的几十年里发展迅速——变得更坚固、更轻、更舒适。但是从神经数据中解码运动意图的神经译码器有望实现巨大的飞跃。

只需几个小时的训练,该系统就能让Findley快速、准确、直观地移动便携义肢上的手指。

芬德利说:“这就像如果我想伸手拿起什么东西,我就伸手拿起什么东西。”

事实证明,关键在于同样的gpu加速深度学习技术,这种技术现在被广泛应用于从网上购物到语音识别的所有领域。

团队合作

对于截肢者来说,即使他们的手早已消失,但控制这只手的部分系统仍然存在。

每一次截肢者想象用一只失去的手去抓一杯咖啡的时候,这些想法在曾经连接到被截肢的身体部位的周围神经中仍然是可触及的。

为了捕捉这些想法,UTSW的Cheng博士通过外科手术在截肢者前臂剩余的正中神经和尺神经中插入了一系列显微电极。

具有碳纳米管触点的这些电极由Keefer设计以检测来自周边神经的电信号。

杨博士的实验室设计了一种高精度神经芯片,以获取电极从截肢者的残余神经中记录下来的微小信号。

Zhao的实验室博士然后开发了机器学习算法,将神经信号解码为手动控制。

GPU-Accelerated神经网络

这就是深度学习的切入点。

病人的神经信号收集到的数据——然后被转换成数字信号——被用来训练神经网络,神经网络将信号解码为假肢的特定命令。

如果使用配备了TITAN X或NVIDIA GeForce 1080 Ti GPU的系统,这个过程只需两个小时。有一天,用户甚至可以使用基于云计算的gpu在家里训练这样的系统。

这些gpu加速了一个基于PyTorch深度学习框架上运行的循环神经网络设计的人工智能神经解码器。

过去十年来,这种神经网络的使用激增,让计算机科学家有能力训练系统完成从图像和语音识别到自动驾驶汽车等大量任务,这些任务过于复杂,传统的手工编码无法解决。

挑战在于找到足够强大的硬件来快速运行这个神经解码器(一种被称为推理的过程),并找到足够高效的、可以完全移植的硬件。

便携式和强大的:Jetson Nano的CUDA核心为流行的深度学习图书馆提供了完全支持,如Tensorflow,Pytorch和Caffe。

因此,该团队转向了Jetson Nano,它的CUDA内核提供了对TensorFlow、PyTorch和Caffe等流行深度学习库的全面支持。

Nguyen解释说:“这为我们的神经解码器实现提供了功率和性能之间最合适的权衡。”

将这种经过训练的神经网络部署到强大的、信用卡大小的Jetson Nano上,就产生了一个便携的、自给自足的神经假肢手,用户可以实时控制单个手指的运动。

Findley用它演示了在各种实验室和真实环境中对单个手指运动的高精度和低延迟控制。

下一步是无线和可植入的系统,这样用户可以在需要的时候滑到一个便携式假体设备,没有任何电线从他们的身体突出。

Nguyen认为,健壮、便携的人工智能系统——能够理解人体并对其作出反应——将在不久的将来增强许多医疗设备。

该团队开发的用于创建人工智能神经接口的技术已经获得了Fasikl公司的许可,该公司是由杨健的实验室发展起来的一家初创公司。

其目标是开创神经调节系统,供截肢者、神经系统疾病患者以及想通过思考来控制机器人或设备的健全者使用。

“当我们的系统被批准用于非医学应用时,我打算成为第一个植入它的人,”Keefer说。“你只需思考就能控制的设备:无人机、键盘、远程操控器——这是进化的下一步。”