首页
Kubernetes教程

分类

当前位置: 天天编程网 > 技术新闻 > Kubernetes教程 >正文

Spark 2.3新版发布,开始支援原生 Kubernetes

更新时间:2023-08-27  作者:佚名   来源: 网络转载

开源社群越来越多人使用Kubernetes来进行资料处理、资料分析和处理机器学习计算,Kubernetes也增加了不少扩充功能,资源定制化、控制器定制化,以便对更深度整合这类专属应用程序。

现在热门的大数据分析平台Spark在2.3新版中,开始原生支援Kubernetes。可以直接在一个现成Kubernetes 1.7以上版本部署的容器集群中,执行Spark运算工作,而且还可以利用Spark自身功能,来管理分散的资料处理或分析任务。Spark可以接使用Kubernetes集群的命名空间或储存空间,例如整合到外挂式验证机制或Log追踪上。

Spark原生支援Kubernetes最大的好处是,不用重新安装Kubernetes集群,或改变现有Kubernetes集群的配置,只要建立一个新的容器镜像,并指派合适的RBAC权限角色,给所要执行的Spark应用程序,就可以开始使用这个Spark程序了。

在2.3新版中还有不少重要更新,例如增加了新的DataSource机制、Structured Streaming API第二版,也强化了PySpark的效能。

Hadoop工具商MapR强化Kubernetes支持,在K8S分析大数据更稳定

知名Hadoop分析工具之一的MapR,最近在Strata Data大会上宣布,要提供进行容器整合机制,推出MapR Data Fabric的Kubernetes支援,可以让MapR的Converged Data Platform大数据分析平台可以提供容器上可用的永久储存空间,也可供用来部署一个Stateful类型的容器应用。

MapR Data Fabric现在可以原生整合到Kubernetes的储存空间,来提供永久储存空间,可用来存数据库、档案或串流资料等。

上一篇:Docker公司五年发展回顾[kubernetes最新资讯] 下一篇:Kubernetes下一站,要做云的“分布式”Linux?[kubernetes最新资讯]
小编推荐
快速导航更多>>
JavaScript 教程 HTML5 教程 CSS3 教程 jQuery 教程 Vue.js 教程 Node.js 教程 SQL 教程 C 教程 PHP 教程 Linux 教程 Docker 教程 Nginx 教程 Python 教程 Java 教程

天天编程网 版权所有

陕ICP备2023002928号-1