瑞技科技

重磅消息

AI 原生数据平台 WEKA
首页 > 网站博客 > AI 原生数据平台——WEKA,如何推动下一代工作负载

AI 原生数据平台——WEKA,如何推动下一代工作负载

随着 AI(人工智能)和 ML(机器学习)应用的迅猛发展,企业在处理和存储海量数据方面面临前所未有的挑战。为了应对这些挑战,WEKA Data Platform 提供了一种先进的 AI 原生、数据管道驱动架构,旨在帮助企业实现数据架构现代化,并为数据密集型应用提供理想环境。无论是在本地还是云端,WEKA 都能让 GPU、AI、ML 和 HPC 工作负载更快、更高效地运行。

企业面临的核心挑战

现代企业在处理数据密集型工作负载时,常常需要应对以下几个关键挑战:

  • 支持计算密集型工作负载的高性能:确保 AI 和 ML 模型的高效运行。

  • 保障 AI 数据管道的高效运行:维持从数据摄取到模型推理的流畅流程。

  • 灵活扩展和缩减:根据需求快速调整存储和计算资源。

  • 优化性能同时降低成本:在确保高性能的同时控制开销。

  • 高效管理各种混合 I/O:处理不同类型的输入输出需求。

WEKA 的独特优势

WEKA Data Platform 凭借其卓越的性能和灵活的架构,为企业提供了一系列重要优势:

  • 加快模型构建速度:通过优化数据管道的每个环节,显著提升模型训练和推理速度。

  • 轻松扩展以满足现代数据管道需求:无论数据量如何增长,WEKA 都能提供所需的扩展能力。

  • 降低数据处理和存储成本:相较传统的高性能计算解决方案,WEKA 能够大幅节省成本。

  • 最大化 GPU 利用率:减少 GPU 和建模软件在等待数据时的闲置时间。

  • 优化小文件的读写性能:无论文件数量多少,均能保持高效读写。

  • 同时运行多种并发工作负载:支持多种数据密集型应用的并行运行。

  • 提供行业领先的元数据性能:在大规模数据管理中保持高效性能。

  • 无需在不同位置之间复制数据集:简化数据管理,减少冗余操作。

  • 简化环境,包括备份和灾难恢复:提供全面的数据保护和恢复能力。

超越想象的速度,引人入胜的简洁;无限的可扩展性,轻松的可持续性
The WEKA Data Platform
  • GPU 速度提升20倍

  • 基础设施成本降低高达75%

  • 模型开发速度提高了40倍

WEKA Data Platform 将静态的数据存储孤岛转变为动态的数据管道,为计算密集型工作负载提供动力,并无缝跨越边缘、核心、云、混合云和多云数据环境。WEKA 正在引领可持续数据创新的新时代,助力全球顶尖的研究机构和企业,以科学的速度推动创新、突破创作的界限,并将创意转化为成果。

WEKA Data Platform 深受世界领先企业和研究机构信赖
WEKA Data Platform 深受世界领先企业和研究机构信赖
WEKA 成功案例
U2 at Sphere

U2 at Sphere

  • 1.5PB 的数据

  • 402GB/S 的视频流数据

  • 160K 平方英尺的 LED 显示屏

U2 需要将超过 500TB 的旧视频素材从英国迁移到拉斯维加斯,并将其升级到 16K x 16K 的超高清显示。WEKA 成功将这些大容量视频文件无缝传输到 Sphere 的本地 WEKA 集群,并定期渲染,打造并重现演出的震撼视觉效果。

Genomics England

Genomics England

  • 在 AWS 上的训练周期时间减少了92%

  • 创建和复制1GB 文件的速度提升了40倍

  • 用于训练模型的文件数量达3000万

Genomics England 需要一个高性能的解决方案来扩展共享数据集,这些数据集已经超出了传统 NAS 的处理能力,而对象存储(OBJ)性能又太慢。相较于 Isilon 这样的传统 NAS 系统,WEKA 提供了 5 倍的容量扩展和 10 倍的性能提升,同时成本减少了 75%。