DeepSeek爆火后，算力成本终会降低成了行业共识。但选择哪一路径，是数据中心、一体机还是推理服务器，业内尚未有统一的定论和参考模式。6月13日，在“2025红帽媒体Open讲”线下交流会上，红帽全球副总裁兼大中华区总裁曹衡康告诉《每日经济新闻》记者，在红帽看来，今年是AI（人工智能）的推理元年。AI进入了推理后，意味着所有的AI应用将正式开始上线运行，并且为企业带来业务收入以及内部成本控制等实际效益。
红帽大中华区方案架构部总经理王慧慧还透露，目前业界的推理技术栈里大概有两个主流的技术方向，红帽选择的是其中一个——“vLLM”（一个高性能大语言模型推理框架 ，现已成为开源领域的事实标准推理服务器，支持多种加速器和分布式部署，广泛应用于生产环境）。
“这是目前最热的一个推理社区。我们发现，来自中国的贡献者占到这个社区35%的贡献量。这也印证了也许推理在中国将会是最热，也是第一个带来企业价值的。”王慧慧提到，在做推理的过程中有两个技术点较难克服：怎样用最小的硬件设备、最小的成本完成最高性能推理；可不可以不把推理的工作量集中在单一台服务器，而是分散到不同的服务器上，做一个分布式的推理引擎。
基于这一背景，红帽在2025年推出了推理服务器。根据红帽方面介绍，使用推理服务器的最大优势就是降低企业的算力成本。不过，该公司高管也在采访中多次强调，红帽不做硬件，只做软件。
随着未来算力成本的降低，行业对芯片算力卡的需求是否会有变化？曹衡康告诉《每日经济新闻》记者贝思盈配资，在他看来，目前AI的应用还不够多。“毕竟用AI成本太高。假设今天（原本）有1000家企业用（AI），成本降低了会是1万家、10万家、100万家企业用。GPU（图形处理器）的量一定会起来的。现在我们的做法就是让门槛更低。”曹衡康称。
冠达配资提示：文章来自网络，不代表本站观点。
- 上一篇：股合网 看看高铁有无靠背，证明厕所确实有门，台湾网红“馆长”登陆开启六天直播之行
- 下一篇：没有了
相关文章
沪深京指数
热点资讯