StarRocks集群搭建完整指南（2025年最新实践）

StarRocks集群搭建完整指南（2025年最新实践）

1. 前置准备

1. 版本选择

• 最新稳定版​：优先选择StarRocks 3.5+（2025年6月发布），支持MySQL SSL加密、Iceberg View、低基数全局字典优化等新特性，默认JDK 17+。
• ​下载渠道​：官网：https://www.mirrorship.cn/zh-CN/download/starrocksGitHub：https://github.com/StarRocks/starrocks/releases

2. 环境要求

• ​操作系统​：推荐CentOS 7.9+或Ubuntu 22.04 LTS+（64位）。
• ​硬件配置​：​FE节点​：8核32GB内存，数据盘≥200GB（SSD）。​BE节点​：8核32GB内存（生产最小配置），单节点磁盘容量提议10TB（SSD/NVMe优先，HDD需吞吐>150MB/s、IOPS>500）。​集群规模​：生产环境最小需3 FE + 3 BE​（FE和BE独立部署，避免资源竞争）。
• ​系统优化​：
• 关闭swap：swapoff -a
• 并注释/etc/fstab中的swap行。
• 调整ulimit：ulimit -n 65535（永久修改需编辑/etc/security/limits.conf）。
• 禁用透明大页（THP）：编辑/etc/rc.local添加echo never > /sys/kernel/mm/transparent_hugepage/enabled。

​二、部署方式选择​

StarRocks支持手动部署、Docker部署、Kubernetes部署三种方式，生产环境推荐Kubernetes部署​（高可用、易扩展）。

​1. Kubernetes部署（生产推荐）​​

使用StarRocks Kubernetes Operator（官方提供）部署，支持FE高可用、BE自动扩缩容。

• ​步骤​：

① 安装StarRocks Operator：

kubectl apply -f https://raw.githubusercontent.com/StarRocks/starrocks-kubernetes-operator/main/deploy/starrocks.com_starrocksclusters.yaml

kubectl apply -f https://raw.githubusercontent.com/StarRocks/starrocks-kubernetes-operator/main/deploy/operator.yaml

② 创建集群配置文件（starrocks-cluster.yaml）：

apiVersion: starrocks.com/v1

kind: StarRocksCluster

metadata:

name: starrocks-prod

namespace: middleware

spec:

starRocksFeSpec:

replicas: 3 # FE高可用（1 Leader + 2 Follower）

image: starrocks/fe-ubuntu:3.5.0

storageVolumes:

- name: fe-meta

storageClassName: alibabacloud-cnfs-nas # 替换为你的存储类

size: 300Gi

mountPath: /opt/starrocks/fe/meta

- name: fe-log

storageClassName: alibabacloud-cnfs-nas

size: 200Gi

mountPath: /opt/starrocks/fe/log

starRocksBeSpec:

replicas: 3 # BE节点数

image: starrocks/be-ubuntu:3.5.0

storageVolumes:

- name: be-data

storageClassName: alibabacloud-cnfs-nas

size: 1Ti

mountPath: /opt/starrocks/be/storage

passwd:

root: "YourStrongPassword123!" # root密码

③ 部署集群：

kubectl apply -f starrocks-cluster.yaml

④ 验证状态：

kubectl get pods -n middleware -l app.kubernetes.io/name=starrocks-cluster

​2. Docker部署（测试/小规模）​​

适合快速功能验证，不推荐生产环境。

• ​步骤​：

① 拉取镜像：docker pull
starrocks/all-in-one:3.5.0（包含FE+BE）。

② 启动容器：

docker run -d -p 9030:9030 -p 8030:8030 -p 8040:8040 --name starrocks-test starrocks/all-in-one:3.5.0

③ 连接集群：mysql -h127.0.0.1 -uroot -P9030（默认root无密码）。

​3. 手动部署（自定义需求）​​

适合有特定环境需求的场景，需手动配置FE/BE节点。

• ​FE部署步骤​：

① 解压安装包：tar -zxvf starrocks-fe-3.5.0.tar.gz -C /opt/starrocks。

② 修改配置文件（
/opt/starrocks/fe/conf/fe.conf）：

meta_dir = /opt/starrocks/fe/meta # 元数据目录（SSD）

rpc_port = 9020 # FE间通信端口

query_port = 9030 # MySQL客户端连接端口

edit_log_port = 9010 # 编辑日志端口

③ 启动FE：
/opt/starrocks/fe/bin/start_fe.sh --daemon。

• ​BE部署步骤​：

① 解压安装包：tar -zxvf starrocks-be-3.5.0.tar.gz -C /opt/starrocks。

② 修改配置文件（
/opt/starrocks/be/conf/be.conf）：

storage_root_path = /opt/starrocks/be/storage # 数据目录（SSD/NVMe）

be_port = 9060 # BE服务端口

heartbeat_service_port = 9050 # 心跳端口

brpc_port = 8060 # BRPC通信端口

③ 启动BE：
/opt/starrocks/be/bin/start_be.sh --daemon。

1. ​集群配置优化​

1. FE高可用配置

• ​扩容Observer节点​：若需提高读并发，可添加Observer节点（ALTER SYSTEM ADD OBSERVER "observer_ip:9010";）。
• ​负载均衡​：使用Nginx/Haproxy代理FE的MySQL端口（9030），实现读写分离。

2. BE性能优化

• ​存储策略​：启用数据压缩（compression_codec = ZSTD，高压缩比）和数据缓存（storage_page_cache_limit = 50%）。
• ​分区分桶​：分区：按时间（Range分区）或类别（List分区）划分，单个分区数据量不超过100GB。分桶：使用3副本（replication_num = 3），分桶个数提议为BE节点数的整数倍（如6个BE节点，分桶数取6）。

​四、验证与监控​

1. 集群状态检查

• ​FE状态​：SHOW PROC '/frontends'G（检查Leader/Follower状态）。
• ​BE状态​：SHOW PROC '/backends'G（检查Alive字段是否为true）。

2. 监控工具

• ​内置监控​：StarRocks提供HTTP接口（http://fe_ip:8030/metrics），可导出Prometheus格式指标。
• ​第三方工具​：推荐使用Grafana + Prometheus搭建可视化监控平台，监控CPU、内存、磁盘、查询延迟等指标。

​五、常见问题排查​

• ​FE启动失败​：检查元数据目录权限（chown -R starrocks:starrocks /opt/starrocks/fe/meta）。
• ​BE无法连接FE​：检查防火墙是否开放9010（FE编辑日志端口）和9020（FE通信端口）。
• ​查询性能差​：检查分区是否合理（避免全表扫描）、索引是否生效（前缀索引、Bitmap索引）。

​六、最佳实践总结​

1. ​生产环境必做​：FE高可用（3节点）、负载均衡、节点同构、系统优化。
2. ​性能优化​：使用SSD存储、启用数据压缩、合理分区分桶、避免全表扫描。
3. ​监控与维护​：定期检查集群状态、备份元数据（ALTER SYSTEM BACKUP META;）、升级版本（ALTER SYSTEM UPGRADE;）。

以上是StarRocks集群搭建的完整指南，涵盖部署方式、配置优化、监控维护等关键环节。如需更详细的配置参数，可参考StarRocks官方文档（
https://docs.mirrorship.cn/zh-CN/administration/）。