Logstash簡介Logstash是一個功能強大的數據收集、處理、輸出工具，支持從各種渠道收集數據，并輸出到指定位置或其他應用，比如ElasticSearch。本文將介紹如何安裝Logstash，

Logstash簡介

Logstash是一個功能強大的數據收集、處理、輸出工具，支持從各種渠道收集數據，并輸出到指定位置或其他應用，比如ElasticSearch。本文將介紹如何安裝Logstash，并演示如何通過LogStash將示例數據處理后輸出到ElasticSearch。

下載和安裝Logstash

首先，下載Logstash時需要注意版本與ElasticSearch版本一致。下載后解壓即可完成安裝。在使用Logstash將數據導入ElasticSearch時，實質上是在ElasticSearch中創(chuàng)建索引，需要使用模板進行創(chuàng)建。默認模板創(chuàng)建一個主分區(qū)和一個副本分區(qū)，需要分布在不同的ElasticSearch節(jié)點上，因此ES集群至少包含2個工作節(jié)點。

數據準備

我們將以下電影信息（CSV文件）導入到ElasticSearch。每行代表一部電影信息，包含ID、電影名稱和題材。電影名稱中包含了上映年份，題材使用分隔符"|"包含多種題材：

```

movieId, title, genres

1, Toy Story (1995), Adventure|Animation|Children|Comedy|Fantasy

2, Jumanji (1995), Adventure|Children|Fantasy

3, Grumpier Old Men (1995), Comedy|Romance

4, Waiting to Exhale (1995), Comedy|Drama|Romance

5, Father of the Bride Part II (1995), Comedy

```

編寫配置文件--輸入部分

Logstash通常使用`logstash -f `命令，關鍵在于編寫配置文件。配置文件分為輸入(input)、過濾器(filter)和輸出(output)三部分。輸入相關配置請參考圖示。

編寫配置文件--過濾器部分

在過濾器部分實現數據處理邏輯，通過一系列過濾器將每行數據處理成所需樣式。具體配置請參考圖示。

編寫配置文件--輸出部分

這部分將經過過濾器處理的數據輸出到ElasticSearch，即在ES中創(chuàng)建相應的索引信息。相關配置請參考圖示。

執(zhí)行導入操作

在命令行啟動，切換到Logstash解壓目錄下的bin子目錄，執(zhí)行`logstash -f `（注意路徑可能變化），等待命令執(zhí)行完畢（會打印處理結果）。

查看導入數據

通過Kibana查看剛剛通過Logstash導入到ElasticSearch的數據（即創(chuàng)建的索引）。步驟如下：

1. 進入Kibana首頁，點擊左側工具欄中的“管理”打開管理頁面。

2. 在管理頁面頂部，點擊“索引管理”進入索引管理頁面。

3. 在索引管理頁面，可以查看通過Logstash創(chuàng)建的movies索引。

通過以上步驟，你可以學習如何使用Logstash將數據導入并處理，以及通過ElasticSearch進行索引管理。