ITOps专业人员在不断变化且充满挑战的环境中运作。他们面临着一个复杂的大数据环境，通常在数千个节点上运行数以万计的应用程序。这种情况意味着用户经常会遇到很多不必要的云浪费。相反，这也意味着存在许多提高大数据性能和/或削减支出的机会。最近，在Pepperdata，进行了一项数据调查，以揭示云浪费的规模和优化潜力。在实施解决方案之前，研究了各个客户群。这些集群在运行450万个应用程序的5,000个节点上占了400 PB的数据。该调查最终得出了一份综合的大数据性能报告，该报告结合了最新的云计算统计数据和大数据趋势。越来越多的云浪费Statista报告：“到2020年，公共云服务市场预计将达到约2664亿美元，到2022年，市场收入有望超过3500亿美元。”这种增长是有代价的。 。大数据应用程序越复杂地迁移到云中，资源错配的可能性就越大。仅在2019年，云浪费造成的损失就达到约140亿美元。因此，正如Gartner所说，“到2024年，几乎所有迁移到公共云基础架构即服务（IaaS）的旧应用程序都将需要进行优化，以提高成本效益。”在大数据集群中，通常一周之内没有优化，最大内存利用率的中位数比率仅为42.3％。这意味着存在大量未充分利用或浪费群集资源的群集。在实施云优化之前，40个大型集群的平均浪费为60％以上。通常，只有5-10％的工作会遇到严重的浪费，这使优化成为一个大问题。优化的潜力浪费了很多资源，可以对其进行优化。正如Google所发现的，即使不费吹灰之力的云优化也可以在两周内为企业节省高达10％的每种服务成本。同时，运行六周或更长时间的完全优化的云服务可以为公司节省超过20％的成本。但是，优化可能是一个挑战。每个应用程序的资源需求都在不断变化。为了充分利用优化潜力，大数据解决方案需要从所有应用程序和关联的基础架构中收集信息，分析数据并动态满足资源需求的变化。这只能在机器学习（ML）的帮助下完成。借助ML驱动的云优化，我们的研究团队针对大数据工作负载进行了一系列优化：·四分之三的客户群提高了吞吐量，并立即赢得了52％的工作时间。 ·25％的用户每年可以节省至少40万美元，而最成功的用户每年可以节省790万美元。正确的大数据优化解决方案随着云迁移的继续，公司必须记住，成本只有在未适当优化的情况下才会增加。企业必须努力采用机器学习驱动的解决方案，该解决方案可以快速识别哪些集群浪费了空间或资源，同时动态地解决了不断变化的资源需求。为他们提供这种水平的可观察性和自动调整解决方案是唯一可以最大化应用程序性能并从长远来看可以节省数百万美元的软件。