Elasticsearch 基本概念：节点、集群、分片及副本

• Elasticsearch 基本概念：节点、集群、分片及副本
  • 分布式系统的可用性与扩展性
  • 分布式特性
  • 节点（node）
  • Master-eligible nodes 和 Master node
  • Data Node & Coording Node
    • Data Node
    • Coording Node
  • 其他节点类型
    • Hot & Warm Node
    • Machine Learning Node
    • Tribe Node
  • 配置节点类型
  • 分片（Primary Shard & Replica Shard）
  • 分片的设定
  • 查看集群的健康状况
  • cerebro 对 ES 的认识

分布式系统的可用性与扩展性

• 高可用性
  • 服务可用性 - 允许有节点可停止服务
  • 数据可用性 - 部分节点丢失，不会丢失数据
• 可扩展性
  • 请求量提升 / 数据的不断增长（将数据分布到所有的节点上）

分布式特性

• Elasticsearch 的分布式架构的好处
  • 存储的水平扩容
  • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
• Elasticsearch 的分布式框架
  • 不同的集群通过不同的名字来区分，默认名字“elasticsearch”
  • 通过配置文件修改，或者在命令行中通过 -E cluster.name=elasticsearch 进行设定。
  • 一个集群可以有一个或多个节点

节点（node）

• 是一个 Elasticsearch 的实例
  • 本质上就是一个 Java 进程
  • 一台实例上运行多个 Elasticsearch 进程，但是在生产环境一般建议一台机器上只运行一个 Elasticsearch 实例
• 每一个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=node1 指定
• 每一个节点启动后，会分配一个UID，保存到data目录下

Master-eligible nodes 和 Master node

• 每一个节点启动后默认就是一个 Master eligible 节点
  • 可以设置 node.master: false 禁止
• Master-eligible 节点参加选主流程，成为master节点
• 当第一个节点启动的时候，它会将自己选举成master节点
• 每个节点都保存了集群的状态，只有 Master 节点才能修改集群的状态信息
  • 集群状态（Cluster state），维护了一个集群中，必要的信息
    • 所有的节点信息
    • 所有的索引和其相关的 Mapping 与 Setting 信息
    • 分片的路由信息
  • 任意节点都能够修改信息，会导致数据的不一致

Data Node & Coording Node

Data Node

Coording Node

其他节点类型

Hot & Warm Node

Machine Learning Node

Tribe Node

配置节点类型

• 开发环境中一个节点可以承担多种角色
• 生产环境中，应该设置单一的角色的节点（dedicated node）

分片（Primary Shard & Replica Shard）

• 主分片用于作为数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有分片上
  • 一个分片是运行 Lucene 的实例
  • 主分片数在索引创建时指定，后续不允许修改，除非 Reindex
• 副本，是用与解决高可用的问题。分片是主分片的拷贝
  • 副本分片数，可以动态调整
  • 增加副本数，还可以在一定程度上提高服务的可用性（读取可用性）
• 一个三节点索引中，blogs 索引的分片分布情况
  • 思考：增加一个节点或改大主分片数对系统的影响？

    在 Dev Tools 中运行 PUT /blogs blogs 索引的分片分布情况

分片的设定

• 对于生产环境中分片的设定，需要提前做好容量的规划
  • 分片数设置过小
    • 导致无法增加节点实现水平扩展
    • 单个分片数据量过大，导致数据重新分配耗时
  • 分片数设置过大，7.0开始，默认主分片设置成1，解决了 over-sharding 的问题
    • 影响搜索结果的相关打分，影响统计结果的准确性
    • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

查看集群的健康状况

Green - 主分片与副本都正常分配
Yellow - 主分片全部正常分配，有副本分片未能正常分配
Red - 有主分片未能正常分配

cerebro 对 ES 的认识