博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark集群部署-硬件配置官方建议
阅读量:6606 次
发布时间:2019-06-24

本文共 451 字,大约阅读时间需要 1 分钟。

1、存储系统

因为spark job需要从外部的存储系统(或文件系统)读取数据(例如:hbase、hdfs等),所有让spark任务尽可能的接近数据本地,让spark和hadoop部署到相同的节点上;数据本地性:将计算任务推送到数据所在地,如果不能保证,也要尽可能的让计算任务接近数据所在地;

2、磁盘

spark虽然是内存计算,但当数据在内存中无法容下或数据需要持久化时,还是需要数据写入本地磁盘,所以磁盘的配置也是很重要的;官方建议,每个节点挂载4-8个磁盘,并且磁盘设置noatime;

3、内存

官方建议每个work配置8g内存,配置太多的内存,JVM的full gc时间会越长,stop the world时间越长;如果机器的配置比较高端,比如内存256g,在其他因素(cpu等)允许的情况下,可以考虑在一个节点上跑多个work进程

4、网络

网络越快越好

5、CPU核数

spark官方建议,每一个节点至少有8-16 cores,当数据已经在内存中后,影响计算性能的因素就剩下网络和cpu了

转载地址:http://zbbso.baihongyu.com/

你可能感兴趣的文章
五险一金,你清楚吗?
查看>>
Ip核_fifo
查看>>
repquota命令--Linux命令应用大词典729个命令解读
查看>>
设置vs解决方案跟随右边cpp
查看>>
Linux Administration
查看>>
如何使版面富有节奏感
查看>>
rabbitmq 管理及常用命令
查看>>
iphone导航控制器的开发与使用
查看>>
debian python library re-install
查看>>
如何用转义来给JS添加的input元素设置单引号
查看>>
J2E——网络编程练习
查看>>
VirtualBox移植
查看>>
HTTP要被抛弃? 亚洲诚信携手宝塔开启HTTPS加密快速通道
查看>>
Chrome: 完全移除对WoSign和StartCom证书的信任
查看>>
RecyclerView侧滑删除功能
查看>>
记一个hystrix异常
查看>>
9.02-Spring IOC 容器中Bean的生命周期
查看>>
6.6 tar打包
查看>>
微信自动抢红包的实现(Demo已增加查看TopActivity功能)
查看>>
Spring MVC核心技术
查看>>