这项开创性的工作将截肢者的思想转化为手指动作，甚至是电子游戏中的指令，这为人类用意念控制任何数字事物提供了可能。
一组研究人员使用gpu训练了一个AI神经解码器，该解码器能够在紧凑、节能的设备上运行NVIDIA Jetson Nano该系统模块(SOM)将46岁的肖恩·芬德利的思想转化为单个的手指动作。
如果这一突破还不够，该团队还将芬德利插入一台正在运行的个人电脑孤岛惊魂5和雷电四世在那里，他让他的游戏角色移动、跳跃，甚至驾驶虚拟直升机，都是用他的思维。
这一演示不仅有望让截肢者更自然、更灵敏地控制他们的义肢。有一天，它可能会赋予用户近乎超人的能力。
这项工作在一份草案或预印本中详细描述，题为“基于深度学习的手指控制的便携式，独立的神经义肢手它详细描述了一个系统背后非凡的跨学科合作，实际上，这个系统允许人类用思想控制几乎任何数字事物。
“这个想法对电子游戏玩家来说很直观，”该论文的第一作者、明尼苏达大学(University of Minnesota)博士后研究员Anh Tuan Nguyen说。他的导师是杨智副教授。
Nguyen是一名狂热的游戏玩家，拥有电子工程学士学位和生物医学工程博士学位，他说:“我们没有把我们的系统映射到虚拟的手，而是把它映射到键盘敲击——五分钟后，我们就在玩电子游戏了。”
简而言之，芬德利是德克萨斯州东部的一名牧师，17年前在机器车间的一次事故中失去了一只手，他能够使用在NVIDIA TITAN X GPU上训练并部署在NVIDIA Jetson上的AI解码器，在虚拟环境中实时将他的思想转化为行动，当然，另一个NVIDIA GPU上运行，Nguyen解释道。
仿生计划
芬德利是参与美国国防高级研究计划局HAPTIX项目支持的临床试验的少数患者之一。
这项人体生理学研究由神经科学家和电生理学家爱德华·基弗和德克萨斯大学西南医学中心的乔纳森·程博士领导。基弗是德克萨斯州神经公司的负责人。
通过与Yang和副教授Qi Zhao在明尼苏达大学的实验室合作，该团队收集了大规模的人类神经数据，并且是首批在临床神经义肢应用的便携式平台上实现深度学习神经解码器的团队之一。
这项努力旨在改善世界各地数百万截肢者的生活。每年有超过100万人因截肢而失去肢体。每30秒一个。
在过去的几十年里，假肢发展迅速，变得更坚固、更轻、更舒适。但从神经数据中解码运动意图的神经解码器有望实现巨大飞跃。
仅仅经过几个小时的训练，这个系统就能让芬德利快速、准确、直观地移动便携式假手上的手指。
芬德利说:“这就像如果我想伸手拿起什么东西，我就会伸手拿起它。”
事实证明，关键在于gpu加速的深度学习，这种深度学习现在被广泛应用于从网上购物到语音识别的所有领域。
团队合作
对于截肢者来说，尽管他们的手早已不在，但控制失去的手的部分系统仍然存在。
每次截肢者想象用失去的手抓一杯咖啡时，这些想法仍然可以通过连接到被截肢身体部位的末梢神经接触到。
为了捕捉这些想法，UTSW的郑博士通过手术将微型电极阵列插入被截肢者前臂的残余正中神经和尺神经中。
Keefer设计了这些带有碳纳米管触点的电极，用来检测周围神经发出的电信号。
杨博士的实验室设计了一种高精度神经芯片，用于获取电极从截肢者的残余神经中记录的微小信号。
赵博士的实验室随后开发了机器学习算法，将神经信号解码为手动控制。
gpu加速神经网络
这就是深度学习的用武之地。
病人的神经信号收集到的数据被转换成数字信号，然后用于训练神经网络，神经网络将信号解码为假肢的特定命令。
使用配备TITAN X或NVIDIA GeForce 1080 Ti GPU的系统，这个过程只需两个小时。有一天，用户甚至可以在家里使用基于云的图形处理器来训练这样的系统。
这些gpu加速了基于运行在PyTorch深度学习框架上的循环神经网络设计的AI神经解码器。
这类神经网络的使用在过去10年出现了爆炸式增长，使计算机科学家能够训练系统完成大量任务，从图像和语音识别到自动驾驶汽车，这些任务过于复杂，无法用传统的手工编码来解决。
挑战在于找到足够强大的硬件来快速运行这个神经解码器，这个过程被称为推理，并且足够节能，完全可移植。
因此，团队转向了Jetson Nano，其CUDA核心为TensorFlow、PyTorch和Caffe等流行的深度学习库提供了全面支持。
Nguyen解释说:“这为我们的神经解码器实现提供了功耗和性能之间最合适的权衡。”
将这个训练过的神经网络部署在功能强大、信用卡大小的Jetson Nano上，就得到了一个便携式、独立的神经义肢手，用户可以实时控制单个手指的运动。
芬德利用它演示了在各种实验室和现实环境中对单个手指运动的高精度和低延迟控制。
下一步是无线可植入系统，这样用户就可以在需要的时候戴上便携式假体设备，而不会有任何电线从他们的身体伸出来。
Nguyen认为，在不久的将来，能够理解人体并对人体做出反应的强大便携式人工智能系统将增强大量医疗设备的功能。
该团队开发的用于创建人工智能神经接口的技术正在获得Fasikl Incorporated的许可，Fasikl Incorporated是一家来自杨的实验室的初创公司。
其目标是为截肢者和神经系统疾病患者以及想要通过思考来控制机器人或设备的健全个体开发神经调节系统。
基弗说:“当我们的系统被批准用于非医疗应用时，我打算成为第一个将其植入的人。”“你只要想想就能控制的设备:无人机、键盘、遥控器——这是进化的下一步。”