Hazelcast宣布支持将机器学习模型部署到超低延迟生产中的简单方法

内存计算平台的开发者Hazelcast宣布了支持将机器学习(ML)模型部署到超低延迟生产中的最简单方法,并支持运行本机Python或基于Java的模型,具有实时性。事件流处理引擎的最新版本Hazelcast Jet现在可以通过加速和简化关键任务应用程序的ML和人工智能(AI)部署,帮助企业更快地释放潜在利润。

最新研究1显示,有33%的IT决策者将ML和AI作为获得利润的最大机会,但是,有86%的组织在管理技术进步方面遇到困难。从最近作为Apache Beam Runner集成到今天宣布的新功能,Hazelcast Jet一直在简化企业如何部署超快速流处理以支持与时间相关的应用程序和与ML,边缘计算等相关的操作。

快速发展的企业(例如金融服务组织)通常依靠资源密集型框架来创建ML和AI应用程序,以分析交易,处理信息并为客户提供服务。这些组织承受着基础设施复杂性的负担,这不仅抑制了他们从ML和AI中获取价值的能力,而且在整个应用程序中引入了额外的延迟。凭借其新功能,Hazelcast Jet通过针对所有基于Python和Java的本机模型的新推理运行器,大大缩短了部署时间。新的Jet版本还包括扩展的数据库支持和其他针对数据完整性的更新。

“通过在Hazelcast Jet中进行机器学习推断,客户可以从数据科学家那里获取模型,而无需在流传输管道中进行部署,” Hazelcast首席技术官Greg Luck说。“由于Hazelcast Jet可以处理数据提取,转换,评分和后处理,因此这种方法完全消除了数据科学家与数据工程师之间的阻抗失配。”

实时机器学习推理的高性能平台

由于Python是数据科学家用来开发ML模型的领先编程语言,因此企业需要一种快速简便的方法来将Python模型部署到生产中。但是,由于缺乏有效运行这些模型的最佳基础架构,公司经常会遇到困难。企业必须将模型转换为另一种语言以在其基础架构中运行,或者附加到单独的子系统上,这两者都会导致性能降低。为了应对这一挑战,Hazelcast Jet现在具有一个“推理运行器”,该模型可以将模型本地插入流处理管道中。

在行业和客户的重大飞跃中,Jet允许开发人员在流处理架构中部署Python模型,从而使企业可以将实时流数据直接输入模型中。与通过REST调用外部服务的其他框架相比,这形成了鲜明的对比,其他框架不仅增加了显着的往返网络延迟,而且在维护外部服务(尤其是确保业务连续性)方面需要管理开销。随着越来越多的机器学习模型开始运作,这一挑战变得更加复杂。在Jet中,Python模型在处理作业本地运行,从而消除了不必要的延迟,并利用内置的弹性来支持关键任务部署。

这一重大进步大大增强了Hazelcast 业界领先的实时性能的优势。可以将ML推理作业缩放到每个Jet节点的核心数量,然后通过向该作业添加更多Jet节点来线性缩放。与容错能力,安全性和规模相结合时,Hazelcast Jet为企业提供了一个平台,用于在生产中执行高速,实时ML部署。

“去年,我们通过提供业界唯一的多合一处理系统,简化了流传输,无需使用由许多独立组件构建的复杂IT设计。现在,我们通过简化企业在该高效系统内部署超低延迟机器学习模型的方式,再次推动该行业向前发展。” Hazelcast首席执行官Kelly Herrell说。“微秒计数将赢得数百万美元,而Hazelcast Jet使这一现实比任何其他选择都快,特别是对于利用人工智能和机器学习的应用程序。”

扩大流处理保证

现在,Hazelcast Jet包含了新的逻辑,该逻辑运行两阶段提交,以确保跨更大范围的数据源和接收器的一致性。通过跟踪源和接收器级别的读写,这种新逻辑扩展了“精确一次”的保证,并确保在发生故障或中断时不会丢失或重复处理数据。客户可以,例如,从Java消息服务(JMS)主题读取数据,处理数据并将其写入Apache Kafka主题,并保证“恰好一次”。对于丢失或重复数据可能会造成高昂成本的系统(例如付款处理或电子商务交易系统),此保证至关重要。

变更资料撷取整合

为了允许数据库充当流源,Hazelcast Jet现在包括与开源项目Debezium的变更数据捕获(CDC)集成。CDC集成增加了对许多流行数据库的支持,包括MySQL,PostgreSQL,MongoDB和SQL Server。由于CDC有效地创建了来自数据库更新的流,因此Hazelcast Jet非常适合为依赖最新数据的应用程序高效地高速处理更新。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。