StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群 - 服务器托管|北京服务器租用|机房托管租用|IDC托管租用|机房机柜带宽租用-价格及费用咨询

系列

StackGres, 可私有部署的云原生数据库平台工程
StackGres数据库平台工程功能介绍与快速上手
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
StackGres 1.6 数据库平台工程，集群高可用(Patroni 3 管理)

什么是 Sharded Cluster(分片集群)

Sharded Cluster(分片集群)是实现数据库分片的集群。数据库分片是跨多台机器存储大型数据库的过程。这是通过在多个 Postgres 主实例之间分隔表行来实现的。这种方法提供了将数据库扩展到多个实例的能力，既有利于读取和写入吞吐量，也有利于在不同实例之间分离数据以实现安全性和/或满足法规或合规性要求。

Sharded Cluster 是如何实现的

一个分片集群是通过构造一个称为协调器的 SGCluster 和一个或多个称为 shards(分片) 的 SGCluster 来实现的。顾名思义，协调器协调实际存储数据的 shards(分片) 。StackGres 负责按照 SGShardedCluster 中设置的规范创建相关的 SGCluster。

SGShardedCluster 可以定义分片的类型（即所使用的内部分片实现）和要分片的数据库服务器托管网。

目前只有一个实现可用，这是通过使用 Citus 扩展提供的。

创建一个基本的 Citus Sharded Cluster

创建 SGShardedCluster 资源：

cat

此配置将创建一个包含 2 个 pod 的 coordinator(协调器)和4 个 shards(分片)，每个分片包含 2 个 pod。

所有 Pod 就绪后，您可以通过发出以下命令来查看新创建的分片集群的拓扑：

kubectl exec -n my-cluster cluster-coord-0 -c patroni -- patronictl list
+ Citus cluster: cluster --+------------------+--------------+---------+----+-----------+
| Group | Member           | Host             | Role         | State   | TL | Lag in MB |
+-------+------------------+------------------+--------------+---------+----+-----------+
|     0 | cluster-coord-0  | 10.244.0.16:7433 | Leader       | running |  1 |           |
|     0 | cluster-coord-1  | 10.244.0.34:7433 | Sync Standby | running |  1 |         0 |
|     1 | cluster-shard0-0 | 10.244.0.19:7433 | Leader       | running |  1 |           |
|     1 | cluster-shard0-1 | 10.244.0.48:7433 | Replica      | running |  1 |         0 |
|     2 | cluster-shard1-0 | 10.244.0.20:7433 | Leader       | running |  1 |           |
|     2 | cluster-shard1-1 | 10.244.0.42:7433 | Replica      | running |  1 |         0 |
|     3 | cluster-shard2-0 | 10.244.0.22:7433 | Leader       | running |  1 |           |
|     3 | cluster-shard2-1 | 10.244.0.43:7433 | Replica      | running |  1 |         0 |
|     4 | cluster-shard3-0 | 10.244.0.27:7433 | Leader       | running |  1 |           |
|     4 | cluster-shard3-1 | 10.244.0.45:7433 | Replica      | running |  1 |         0 |
+-------+------------------+------------------+--------------+---------+----+-----------+

请注意，pg_dist_node 表的 groupid 列与上面的 Patroni Group 列相同。特别是，标识符为 0 的组是 coordinator(协调器) 组（coordinator 的 shouldhaveshards 列设置为 f）。

创建一个自定义的生产级 Citus Sharded Cluster

Sharded Cluster 自定义配置

有关分片集群配置的更多详细信息，请参阅自定义你的 Postgres Cluster一节。具体来说，您将在 my-cluster 命名空间中创建以下自定义资源:

https://stackgres.io/doc/1.6/administration/cluster-creation/#customizing-your-postgres-clusters

SGInstanceProfile(k8s pods 自定义配置)

一个名为 size-small 的 SGInstanceProfile

https://stackgres.io/doc/1.6/administration/configuration/ins服务器托管网tance/

apiVersion: stackgres.io/v1
kind: SGInstanceProfile
metadata:
  namespace: demo
  name: size-small
spec:
  cpu: "4"
  memory: "8Gi"

SGPostgresConfig(postgres 自定义配置)

一个名为 pgconfig1 的 SGPostgresConfig

https://stackgres.io/doc/1.6/reference/crd/sgpostgresconfig/

apiVersion: stackgres.io/v1
kind: SGPostgresConfig
metadata:
  name: postgresconf
spec:
  postgresVersion: "11"
  postgresql.conf:
    password_encryption: 'scram-sha-256'
    random_page_cost: '1.5'
    shared_buffers: '256MB'
    wal_compression: 'on'

SGPoolingConfig(pgBouncer 自定义配置)

一个名为 poolconfig1 SGPoolingConfig

https://stackgres.io/doc/1.6/reference/crd/sgpoolingconfig/

apiVersion: stackgres.io/v1
kind: SGPoolingConfig
metadata:
  name: pgbouncerconf
spec:
  pgBouncer:
    pgbouncer.ini:
      pgbouncer:
        max_client_conn: '2000'
        default_pool_size: '50'
      databases:
        foodb:
          max_db_connections: 1000
          pool_size: 20
          dbname: 'bardb'
          reserve_pool: 5
      users:
        user1:
          pool_mode: transaction
          max_user_connections: 50
        user2:
          pool_mode: session
          max_user_connections: '100'

SGObjectStorage(s3 数据备份自定义配置)

一个名为 backupconfig1 的 SGObjectStorage

https://stackgres.io/doc/1.6/reference/crd/sgobjectstorage/

apiVersion: stackgres.io/v1beta1
kind: SGObjectStorage
metadata:
  name: objectstorage
spec:
  type: s3Compatible
  s3Compatible:
    bucket: stackgres
    region: k8s
    enablePathStyleAddressing: true
    endpoint: http://my-cluster-minio:9000
    awsCredentials:
      secretKeySelectors:
        accessKeyId:
          key: accesskey
          name: my-cluster-minio
        secretAccessKey:
          key: secretkey
          name: my-cluster-minio

SGDistributedLogs(分布式日志 server 配置)

一个名为 distributedlogs 的 SGDistributedLogs

https://stackgres.io/doc/1.6/reference/crd/sgdistributedlogs/

apiVersion: stackgres.io/v1
kind: SGDistributedLogs
metadata:
  name: distributedlogs
spec:
  persistentVolume:
    size: 10Gi

配置 SQL 启动脚本

最后但同样重要的是，StackGres 允许您包含几个 managedSql 脚本，以便在启动时执行集群操作。

在这个例子中，我们使用 Kubernetes secret 创建一个 Postgres 用户，并使用 Citus 创建一个分片表：

kubectl -n my-cluster create secret generic pgbench-user-password-secret 
  --from-literal=pgbench-create-user-sql="create user pgbench password 'admin123'"

然后我们在 SGScript 中引用这个 secret：

https://stackgres.io/doc/1.6/reference/crd/sgscript/

cat

脚本由之前创建的 Secret 和内联的 SQL 指令定义。

SGScript 将在分片集群的协调器的 managedSql 定义中被引用，如下所示。

请注意，我们同样可以在配置映射中定义 SQL 脚本，但是，由于 password 表示凭据，因此我们使用的是 secret。

创建 Citus 集群

执行了所有必要的步骤来创建我们的 StackGres 集群。

创建 SGShardedCluster 资源：

cat

注意，每个资源都有自己的 name，并在 StackGres 分片集群定义中被引用。
创建 CR 的顺序与成功创建分片集群相关，即在创建依赖资源之前创建所有必要的 resources、secrets 和 permissions。

另一个有用的配置是 prometheusAutobind: true 定义。
此参数自动启用对分片集群的监控。
如果我们已经在 Kubernetes 环境中安装了 Prometheus operator。

https://stackgres.io/doc/1.6/install/helm/parameters/

https://hacker-linner.com
https://stackgres.io

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net

相关推荐: 2024年PMP考试时间表来了!考生须知

项目管理PMP考试由美国项目管理协会（PMI）发起，是严格评估项目管理人员能力的认证考试。目前许多地区都可以报考PMP考试，那么2024年项目管理PMP考试时间是什么时候呢？ 2024年PMP项目管理考试报名（英文）时间：（只有英文报服务器托管网名审核成功才能…

系列