RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-17:00
你可能遇到了下面的问题
关闭右侧工具栏

新闻中心

这里有您想知道的互联网营销解决方案
Elasticsearch中分布式的示例分析

这篇文章给大家分享的是有关Elasticsearch中分布式的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

成都创新互联自2013年起,先为永登等服务建站,永登等地企业,进行企业商务咨询服务。为永登企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

可用性和扩展性

高可用

服务可用性—允许有节点停止服务

数据可用性—部分节点丢失,不会丢失数据

可扩展性

请求量提升/数据的不断增长 ,可以实现水平扩展

节点

节点是一个es的实例

本质上就是一个JAVA进程

分片和副本

  • 分片特性
    分片存储部分数据,可以分布任意节点上;
    分片在创建索引时指定且不许更改,默认为5个;
    分片有主副之分,四线数据高可用;
    副本分片的数据由主分片同步,提高读取吞吐量;

  • 实例操作

集群设置:node1/node2/node3,且node1为主节点;创建索引:PUT test_index{  "settings":{    "number_of_shards":3, ##分片数为3    "number_of_replicas":1 ##副本数为1  }}分片和副本分布:node1-p0 r1 node2-p1 r2 node3-p2 r0
  • 问题

1-在上述的分布式环境中,增加节点数是否提高test_index的数据容量?不能,因为只有3个分片,且已经分布在3台节点上,新增节点无法使用;2-增加副本数是否可以提高test_index的读取吞吐量?不能,新增的副本依然分布在三个节点上,利用同样资源;3-建议:分片数过小,无法通过新增节点实现水平扩容;分片数过大,导致一个节点上存在多个分片,造成资源浪费;

集群状态

  • 集群状态
    Green:健康状态,所有主副分片正常分配;
    Yellow:主分片分配正常,但是副本分片分配不正常;
    Red:存在主分片未分配;

  • 故障转移

文档分布式存储

  • 文档到分片的映射
    文档在分片中尽量分布均匀,充分利用资源;

脑裂问题

  • 脑裂
    同一个集群中两个master,维护不同的cluster state,网络恢复后无法选择正确的master;

  • 实例操作

文档搜索实时性

  • refresh
    segment写入磁盘耗时,借助文件系统缓存特性,将segment缓存并开放搜索实时性,称为refresh;
    refresh之前将文档存储到一个buffer中,refresh时将buffer中的文档清空生成segment;

  • translog
    解决内存中segment未写入磁盘就发生宕机问题;
    文档写入buffer时,同时将请求操作写入translog,6.x默认每个请求都落盘;
    Es启动时检查translog文件,并从中恢复数据;

  • flush
    负责将内存中的segmet写入磁盘;
    将index buffer清空,其中的文档生成一个新的segment,相当于一个refresh操作;
    更新commit point并写入磁盘;
    执行fsync操作,将内存中的segment写入磁盘;
    删除旧的translog日志;

  • 删除与更新文档
    segment一旦创建就不能更改,如何删除与更新文档呢?

  • segment merge
    Es会定时在后台进行segment merge操作,减少segment的数量;
    通过force_merge api实现手动强制做segment merge;

感谢各位的阅读!关于“Elasticsearch中分布式的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!


当前题目:Elasticsearch中分布式的示例分析
当前URL:http://scpingwu.com/article/igseii.html