美国邮政在边缘网络上开放人工智能应用

边缘计算基础设施项目(Edge Computing Infrastructure Program)从一个高调的任务开始,现在已经有了一个由Triton Inference Server管理的基于NVIDIA egx系统的数十种人工智能应用管道。
通过 里克•梅里特

2019年,美国邮政服务(U.S. Postal Service)需要识别并跟踪其每日1亿多封邮件的洪流中的邮件。

一位USPS AI架构师有了一个想法。Ryan Simpson想要扩展一个邮政团队正在开发的图像分析系统,以解决这个大海捞针的问题。

由于边缘人工智能服务器战略性地位于其处理中心,他相信美国邮政可以分析每个中心生成的数十亿张图像。由此产生的见解,通过一些关键数据点表达,可以通过网络快速共享。

这位数据科学家、英伟达(NVIDIA)的六位架构师和其他一些人设计了深度学习模型,这些模型需要在为期三周的冲刺中完成,感觉就像一场漫长的黑客马拉松。这项工作是边缘计算基础设施项目(ECIP,发音为EE-sip)的起源,这是一个分布式边缘人工智能系统,在英伟达股指EGX平台今天在美国邮政总局。

边缘的人工智能平台

事实证明,边缘AI是许多伟大表演的舞台。ECIP已经在运行第二个应用程序,它就像自动化的眼睛一样,根据各种业务需求跟踪项目。

美国邮政总局相机龙门
安装在分拣机器上的摄像头可以捕捉地址、条形码和其他数据,比如危险物质的符号。由美国邮政服务提供。

“过去需要八到十个人花几天的时间来追踪物品,现在需要一到两个人花几个小时,”Todd Schimmel说,他负责监督美国邮政系统,包括使用ECIPNVIDIA-Certified惠普企业的边缘服务器。

另一项分析更有说服力。该公司表示,一项需要在800个cpu的服务器网络上花费两周时间才能完成的计算机视觉任务,现在在HPE Apollo 6500服务器之一的4个NVIDIA V100张量核心gpu上只需20分钟即可完成。

如今,每个边缘服务器每天要处理超过1,000台邮件处理机器上的20兆兆字节的图像。来自NVIDIA的开源软件特里同推理服务器他为195个系统中的每个系统提供所需的人工智能模型——何时需要、如何需要。

Next App for the Edge

USPS提出了一个关于ECIP的下一个应用程序的请求,一个使用光学字符识别(OCR)来简化其成像工作流程。

“过去,我们会购买新的硬件、软件——一整套OCR基础设施;或者如果我们使用公共云服务,我们就必须将图像传输到云上,这需要大量的带宽,而且当你谈论大约10亿张图像时,成本也很高。”Schimmel说道。

今天,新的OCR用例将作为一个深度学习模型存在ECIP的容器中,由Kubernetes管理并由Triton服务。

在大流行的最初几周,同样的系统软件使ECIP的最初部署变得顺利。运营商在交付其他系统时推出了集装箱,并在安装了近节点的完整网络后对其进行更新。

NVIDIA DGX服务器在USPS
人工智能算法是在美国邮政服务工程公司(U.S. Postal Service Engineering)的NVIDIA DGX服务器上开发的。NVIDIA的礼貌。

“部署非常精简,”Schimmel说。他补充说:“我们于2019年9月授予合同,于2020年2月开始部署系统,到8月完成大部分硬件——美国邮政局对此非常满意。”

Triton加快模型交付

Triton是ECIP软件魔力的一部分,它将不同的AI模型自动交付给不同的系统,这些系统可能有不同版本的gpu和cpu支持不同的深度学习框架。这为边缘AI系统节省了大量时间,比如由近200个分布式服务器组成的ECIP网络。

仅检查邮件的应用程序就需要协调超过6个深度学习模型的工作,每个模型都要检查特定的功能。运营商希望在未来通过增加更多的模型来增强这款应用的功能。

Schimmel说:“到目前为止,我们部署的模型有助于管理邮件和邮政服务——它有助于我们维持我们的任务。”

边缘AI应用的管道

到目前为止,USPS的各个部门,从企业分析到财务和营销,已经为ECIP产生了多达30个应用程序的想法。Schimmel希望能在今年建立一些这样的项目。

它会自动检查包裹的邮资是否与包裹的大小、重量和目的地相符。另一款软件可以自动破解损坏的条形码,最快今年夏天就能上线。

HPE Apollo 6500服务器,NVIDIA V100图形处理器
USPS在HPE Apollo 6500服务器上运行AI推理,每个服务器配备4个NVIDIA V100图形处理器。礼貌HPE照片。

他说:“这对我们和我们的客户都有好处,让我们知道一个特定的包裹在哪里。这不是灵丹妙药,但它将填补空白,提高我们的业绩。”

这项工作是USPS更广泛的努力的一部分,以有利于客户的方式探索其数字足迹并释放其数据的价值。

“我们的边缘人工智能之旅才刚刚开始。每天,我们组织里的人都在思考新的方法,把机器学习应用到机器人技术的新方面,数据处理和图像处理,”他说。

了解更多关于边缘计算的好处英伟达股指EGX平台,以及NVIDIA如何尖端人工智能解决方案正在改变每个行业

上图为邮政服务员工进行抽查,以确保包裹得到妥善处理和分类。由美国邮政服务提供。