圖解Elasticsearch的核心概念

Posted on by

本文講解大綱，分8個核心概念講解說明：

  • NRT
  • Cluster
  • Node
  • Document&Field
  • Index
  • Type
  • Shard
  • Replica

Near Realtime（NRT）近實時

Elasticsearch的核心優勢就是（Near Real Time NRT）近乎實時，我們稱之為近實時。
NRT有兩個意思，下面舉例說明下：

  • 從寫入索引數據到數據可以被搜索到有一個小延遲（大概1秒）；

舉個例子：電商平台新上架一個新商品，1秒後用戶就可搜索到這個商品信息，這就是近實時。

  • 基於Elasticsearch執行搜索和分析可以達到秒級查詢

也舉個例子說明，比如我現在想查詢我在淘寶，最近一年都買過幾件商品，總共花了多少錢，最貴的商品多少錢，哪個月買到東西最多，什麼類型的商品買的最多這樣的信息，如果淘寶說，你要等待10分鐘才能出結果，你是不是很崩潰，這個延遲的時間就不是近實時，如果淘寶可以秒級別返回給你，就是近實時了。

下面畫一個圖，解釋下三個基本概念的

Cluster：集群

包含多個節點，每個節點屬於哪個集群是通過一個配置（集群名稱，默認是elasticsearch）來決定的，對於中小型應用來說，剛開始一個集群就一個節點很正常。集群的目的為了提供高可用和海量數據的存儲以及更快的跨節點查詢能力。

Node：節點

集群中的一個節點，節點也有一個名稱（默認是隨機分配的），節點名稱很重要（在執行運維管理操作的時候），默認節點會去加入一個名稱為“elasticsearch”的集群，如果直接啟動一堆節點，那麼它們會自動組成一個elasticsearch集群，當然一個節點也可以組成一個elasticsearch集群

Document&field：文檔和字段

document 是es中的最小數據單元，一個document可以是一條客戶數據，一條商品分類數據，一條訂單數據，通常用JSON數據結構表示，每個index下的type中，都可以去存儲多個document。一個document裏面有多個field，每個field就是一個數據字段。

相當於mysql里的行，可以簡單這麼理解，舉個例子。一個商品的文檔數據一條如下：

product document
{
  "product_id": "1000",
  "product_name": "mac pro 2019 款筆記本",
  "product_desc": "高性能，高分辨率，編程必備神器",
  "category_id": "2",
  "category_name": "电子產品"
}

Index：索引

包含一堆有相似結構的文檔數據，比如可以有一個客戶索引，商品分類索引，訂單索引，索引有一個名稱。
一個index包含很多document，一個index就代表了一類類似的或者相同的document。比如說建立一個product index，商品索引，裏面可能就存放了所有的商品數據，所有的商品document。

Type：類型

每個索引里都可以有一個或多個type，type是index中的一個邏輯數據分類，一個type下的document，都有相同的field，比如博客系統，有一個索引，可以定義用戶數據type，博客數據type，評論數據type。

商品index，裏面存放了所有的商品數據，商品document

但是商品分很多種類，每個種類的document的field可能不太一樣，比如說電器商品，可能還包含一些諸如售後時間範圍這樣的特殊field；生鮮商品，還包含一些諸如生鮮保質期之類的特殊field

type，日化商品type，電器商品type，生鮮商品type

日化商品type：product_id，product_name，product_desc，category_id，category_name
電器商品type：product_id，product_name，product_desc，category_id，category_name，service_period
生鮮商品type：product_id，product_name，product_desc，category_id，category_name，eat_period

每一個type裏面，都會包含一堆document

{
“product_id”: “2”,
“product_name”: “長虹電視機”,
“product_desc”: “4k高清”,
“category_id”: “3”,
“category_name”: “電器”,
“service_period”: “1年”
}

{
“product_id”: “3”,
“product_name”: “基圍蝦”,
“product_desc”: “純天然，冰島產”,
“category_id”: “4”,
“category_name”: “生鮮”,
“eat_period”: “7天”
}

Shard 分片，也稱 Primary Shard

單台機器無法存儲大量數據，es可以將一個索引中的數據切分為多個shard，分佈在多台服務器上存儲。有了shard就可以橫向擴展，存儲更多數據，讓搜索和分析等操作分佈到多台服務器上去執行，提升吞吐量和性能。

每個shard都是一個lucene index。

Replica 副本,也稱 Replica Shard

任何一個服務器隨時可能故障或宕機，此時shard可能就會丟失，因此可以為每個shard創建多個replica副本。replica可以在shard故障時提供備用服務，保證數據不丟失，多個replica還可以提升搜索操作的吞吐量和性能。

primary shard（建立索引時一次設置，不能修改，默認5個），

replica shard（隨時修改數量，默認1個），

默認每個索引10個shard，5個primary shard，5個replica shard，最小的高可用配置，是2台服務器。

相關索引解釋說明：

  • index包含多個shard
  • 每個shard都是一個最小工作單元，承載部分數據，lucene實例，完整的建立索引和處理請求的能力
  • 增減節點時，shard會自動在nodes中負載均衡
  • primary shard和replica shard，每個document肯定只存在於某一個primary shard以及其對應的replica shard中，不可能存在於多個primary shard
  • replica shard是primary shard的副本，負責容錯，以及承擔讀請求負載
  • primary shard的數量在創建索引的時候就固定了，replica shard的數量可以隨時修改
  • primary shard的默認數量是5，replica默認是1，默認有10個shard，5個primary shard，5個replica shard
  • primary shard不能和自己的replica shard放在同一個節點上（否則節點宕機，primary shard和副本都丟失，起不到容錯的作用），但是可以和其他primary shard的replica shard放在同一個節點上

索引在集群中分配圖：

本文由博客一文多發平台 發布！

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益