使用 Docker Compose V2 快速搭建日誌分析平臺 ELK (Elasticsearch、Logstash 和 Kibana)

来源:https://www.cnblogs.com/morang/p/17976704/devops-docker-elk-install-nginx-config
-Advertisement-
Play Games

ELK的架構有多種，本篇分享使用的架構如圖所示： Beats(Filebeat) -> -> Elasticsearch -> Kibana，目前生產環境一天幾千萬的日誌，記憶體占用大概 10G ...


前言

ELK 是指 Elasticsearch、Logstash 和 Kibana 這三個開源軟體的組合。

Elasticsearch 是一個分散式的搜索和分析引擎，用於日誌的存儲,搜索,分析,查詢。

Logstash 是一個數據收集、轉換和傳輸工具，用於收集過濾和轉換數據，然後將其發送到 Elasticsearch 或其他目標存儲中。

Kibana 是一個數據可視化平臺，通過與 Elasticsearch 的集成，提供了強大的數據分析和儀錶盤功能。

Filebeat 是 Elastic Stack（ELK）中的一個組件，用於輕量級的日誌文件收集和轉發。它能夠實時監控指定的日誌文件，並將其發送到 Elasticsearch 或 Logstash 進行處理和分析。

ELK的架構有多種，本篇分享使用的架構如圖所示： Beats(Filebeat) -> -> Elasticsearch -> Kibana，目前生產環境一天幾千萬的日誌，記憶體占用大概 10G 左右

特點

  • 開源免費
  • 靈活性和可擴展性，高可用性，易擴展，支持集群
  • 高效的搜索和分析功能
  • 實時性
  • 易於使用

使用情況

  • 目前微服務項目使用，ELK單機部署，處理千萬級日誌無壓力
  • 使用 Kibana 做了面板，根據面板監控系統情況
  • 使用 Docker 部署，方便快捷
  • 上手用還算簡單，但是弄懂這一套，就不是那麼容易了
  • 提煉出 docker compose 配置，分分鐘部署好

實踐

準備

  • 一臺 linxu 伺服器，記憶體 8G+
  • 安裝 docker,docker compose
  • 新機器搭建後的運行情況，限制了Elasticsearch的jvm參數 4g

安裝

本篇 ELK 的版本為 v7.8.1,本篇使用的容器網路為 devopsnetwork ，需創建 docker network create devopsnetwork

Elasticsearch 使用 docker compose 安裝

  • 官方使用 Docker 安裝文檔

  • compose.yml

    • 指定了jvm參數：4g
    • 暴露埠 9200：該埠是Elasticsearch REST API的預設埠。
    • 暴露埠 9300：該埠是Elasticsearch節點之間的內部通信埠，預設用於節點之間的集群通信
    • 掛載數據目錄 ./data及配置文件./config/elasticsearch.yml
    • 需要對兩個目錄進行授權，這裡直接用了777，也可以根據官網使用對應es的用戶id 1000
version: '3.1'
services:
  elk_elasticsearch:
    image: elasticsearch:7.8.1
    container_name: elk_elasticsearch
    restart: always
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms4096m -Xmx4096m
    ports:
      - 9200:9200 
      - 9300:9300 
    volumes:
      # 授權 chmod 777 ./config/ && chmod 777 ./data/
      - ./data:/usr/share/elasticsearch/data
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/elasticsearch.yml
network.host: 0.0.0.0
xpack:
  ml.enabled: false
  monitoring.enabled: false
  security.enabled: false
  watcher.enabled: false

將其拷貝到伺服器執行啟動即可

#cd /app/elasticsearch
mkdir ./config
mkdir ./data
chmod 777 ./config/ && chmod 777 ./data/
docker compose up -d

驗證訪問

Logstash 使用 docker compose 安裝

  • 官方使用 Docker 安裝 文檔

  • compose.yml

    • 暴露埠5044：用於接收來自其他主機的日誌數據、
    • 掛載的 ./pipeline和./config目錄可以運行容器複製出來
    • 需要將./config/logstash.yml 和 ./pipeline/logstash.conf 改成es地址，參考
version: '3.1'
services:
  elk_logstash:
    image: logstash:7.17.16
    container_name: elk_logstash
    restart: always
    ports:
      - 5044:5044 
    volumes:
     # 授權 chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
      - /etc/timezone:/etc/timezone
      - /etc/localtime:/etc/localtime:ro
      - ./logs:/usr/share/logstash/logs
      - ./data:/usr/share/logstash/data
      - ./pipeline:/usr/share/logstash/pipeline
      - ./config:/usr/share/logstash/config
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

  • pipeline/logstash.conf

input {
    beats {
        port => 5044
        codec => json {
            charset => "UTF-8"
        }
    }

}

filter {  
 
}

output {
    elasticsearch { 
      hosts => ["http://192.168.123.102:9200"]
      index => "%{[app]}-%{+YYYY.MM.dd}" 
  }    
  stdout { 
    codec => rubydebug 
  }
}

將其拷貝到伺服器執行啟動即可

mkdir ./data
mkdir ./logs
chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
docker compose up -d

Kibana 使用 docker compose 安裝

  • 官方使用 Docker 安裝文檔

  • compose.yml

    • 指定es節點是單節點，多節點使用zen
    • 掛載配置文件 ./config/kibana.yml
    • 暴露埠 5601：面板訪問埠
version: '3.1'
services:
  elk_kibana:
    image: kibana:7.8.1
    container_name: elk_kibana
    restart: always
    environment:
      - discovery.type=single-node
    ports:
      - 5601:5601 
    volumes:
      - ./config/kibana.yml:/usr/share/kibana/config/kibana.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/kibana.yml
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.123.102:9200/"]
i18n.locale: "zh-CN"
xpack:
  apm.ui.enabled: false
  graph.enabled: false
  ml.enabled: false
  monitoring.enabled: false
  reporting.enabled: false
  security.enabled: false
  grokdebugger.enabled: false
  searchprofiler.enabled: false

將其拷貝到伺服器執行啟動即可

docker compose up -d

Filebeat 使用 docker compose 安裝

  • compose.yml

    • 掛載filebeat的配置文件，數據目錄及日誌目錄，需要設置許可權
    • 掛載容器外的日誌到容器內的日誌採集目錄
version: '3.1'
services:
  elk_filebeat:
    image: elastic/filebeat:7.8.1
    container_name: elk_filebeat
    restart: always
    volumes:
      # 授權 chmod 777 ./config/ && chmod 777 ./data/ && chmod 777 ./logs/ && chmod 777 /app/logs
      - ./config/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
      - ./data:/usr/share/filebeat/data 
      - ./logs:/usr/share/filebeat/logs
      - /app/logs:/app/logs
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

  • config/filebeat.yml

    • hosts 節點需要配置 logstash 地址
    • paths 指定日誌目錄

output.logstash:
  #logstash hosts
  hosts: ["192.168.123.102:5044"]
fields_under_root: true    
filebeat.inputs: 
 - type: log
   enabled: true
   paths:
       - /app/logs/*/*.log    
   close_older: 24h
   ignore_older: 24h   
   json.keys_under_root: true
   json.overwrite_keys: true
   encoding: utf-8 
filebeat.config.modules: 
  path: ${path.config}/modules.d/*.yml 
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3  
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~  
  - drop_fields:    
      fields: ["log","@version","ecs","agent","beat","host","beat.hostname","beat.version","beat.name","prospector.type","input.type","host.id","host.name","host.os.build","host.os.family","host.os.name","host.os.platform","host.os.platform","log.file.path","tags","offset","host.architecture","host.os.version"]

安全使用

配置 nginx 功能變數名稱轉發

server {

    listen 80;
    listen       443 ssl;
    server_name kibana.devops.test.com;  # 自行修改成你的功能變數名稱

    ssl_certificate      /certs/kibana.devops.test.com/server.crt;
    ssl_certificate_key  /certs/kibana.devops.test.com/server.key;
    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  5m;
    ssl_ciphers  HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers  on;

    location / {
            proxy_pass http://192.168.123.102:5601;
            proxy_http_version 1.1;
            proxy_buffering off;
            proxy_request_buffering off;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $remote_addr;
    }
}

配置完成，即可使用功能變數名稱訪問

配置 nginx 基本認證

在Nginx配置文件中添加以下內容

location / {
    auth_basic "Restricted Content";
    auth_basic_user_file /certs/kibana.devops.test.com/passwd;
    ...
}

添加對應的passwd文件，使用 htpasswd 生成，如賬號密碼是 root devops666 的配置文件

root:WvesKBTr22.wY

可以使用我 metools 工具的 密碼生成器 生成

配置完成，重載配置後刷新頁面就提示輸入賬號密碼了

配置 nginx IP白名單

location / {
    allow 192.168.123.201;   # 允許的IP地址
    deny all;              # 拒絕所有其他IP地址
}

後語

本篇只針對 ELK 的安裝進行了介紹及整理對應的 Docker Compose 配置文件，後續即可快速安裝配置 ELK 環境，如何與項目結合使用後續再分享

作者：易墨
Github：yimogit
純靜態工具站點：metools
說明：歡迎拍磚,不足之處還望園友們指出;
迷茫大概是因為想的太多做的太少。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 遍歷二叉樹
    二叉樹 前言 二叉樹的遍歷主要有深度優先遍歷和廣度優先遍歷，深度優先遍歷是優先訪問一個子樹上的所有節點，訪問的屬性是豎向的，而廣度優先遍歷則是優先訪問同一層的所有節點，訪問屬性是橫向的。 深度優先遍歷 深度優先遍歷主要有三種順序： 前序遍歷 —— 根左右 中序遍歷 —— 左根右 後序遍歷 —— 左右 ...
  • 查詢法定工作日的API介面
    在現代社會中，時間的規劃和安排對於個人和企業來說非常重要。在我們處理時間上的事務時，我們需要知道某一天是否是國家法定節假日或者法定工作日。因此，開發一個能夠查詢特定日期的法定工作日的API介面就變得非常有必要了。 一、功能說明 該API介面的主要功能是根據用戶輸入的日期，返回該日期是否是國家法定節假 ...
  • Rust 所有權和 Move 語義
    Rust 所有權和 Move 語義 所有權和生命周期是 Rust 和其它編程語言的主要區別，也是 Rust 其它知識點的基礎。 動態數組因為大小在編譯期無法確定，所以放在堆上，並且在棧上有一個包含了長度和容量的胖指針指向堆上的記憶體。 恰到好處的限制，反而會釋放無窮的創意和生產力。 Rust 所有權規 ...
  • WIN32 動態 UAC 提權
    UAC(User Account Control) 是 Windows 平臺的用戶許可權控制。它可以讓程式使用管理員許可權執行某些操作。 靜態 UAC 提權 靜態 UAC 提權讓程式一直運行在管理員許可權下，只要在項目設置里把 "UAC Execution Level" 設置為 "requireAdmin ...
  • Spring AOP原來是這樣實現的
    Spring AOP 技術實現原理 在Spring框架中，AOP（面向切麵編程）是通過代理模式和反射機制來實現的。本文將詳細介紹Spring AOP的技術實現原理，包括JDK動態代理和CGLIB代理的使用，並通過實例演示其在實際項目中的應用。 1. AOP的實現原理概述 Spring AOP的實現基 ...
  • 搭建一個JavaWeb項目流程詳解
    本文致力於，讓編程者一步步明白書寫一個JavaWeb項目應該做些什麼，梳理清楚流程框架，需要的jar包，同時手寫了一個分頁工具類也在其中，讓你在編程中更加絲滑。 ...
  • C++11原子變數：線程安全、無鎖操作的實例解析
    在 C++11 中，原子變數（std::atomic）提供了一種線程安全的方式來操作共用變數。下麵是一個簡單的例子，演示了C++11原子變數的用法。 #include <iostream> #include <atomic> #include <thread> std::atomic<int> co ...
  • Python手相識別教程10命運線
    小北說在前面： 在一線互聯網企業種，如網易、美團、位元組、如阿裡、滴滴、極兔、有贊、希音、百度、美團等大廠，資料庫的面試題，一直是核心和重點的提問點，比如前段時間有位小伙伴面試位元組，就遇到了下麵這道面試題： 索引的設計規範，你知道那些？ 小伙伴雖然用過索引，但是索引的設計規範忘記得一干二凈，回答也是朦 ...
一周排行
    -Advertisement-
    Play Games
  • 記一次asp.net 8 伺服器爆滿的解決過程
    前言 插件化的需求主要源於對軟體架構靈活性的追求，特別是在開發大型、複雜或需要不斷更新的軟體系統時，插件化可以提高軟體系統的可擴展性、可定製性、隔離性、安全性、可維護性、模塊化、易於升級和更新以及支持第三方開發等方面的能力，從而滿足不斷變化的業務需求和技術挑戰。 一、插件化探索 在WPF中我們想要開 ...
  • C#反射
    歡迎ReaLTaiizor是一個用戶友好的、以設計為中心的.NET WinForms項目控制項庫，包含廣泛的組件。您可以使用不同的主題選項對項目進行個性化設置，並自定義用戶控制項，以使您的應用程式更加專業。 項目地址：https://github.com/Taiizor/ReaLTaiizor 步驟1： ...
  • EDP .Net開發框架--業務模型
    EDP是一套集組織架構，許可權框架【功能許可權，操作許可權，數據訪問許可權，WebApi許可權】，自動化日誌，動態Interface，WebApi管理等基礎功能於一體的，基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • .NET 中 Channel 類簡單使用
    Channel 是乾什麼的 The System.Threading.Channels namespace provides a set of synchronization data structures for passing data between producers and consume ...
  • efcore如何優雅的實現按年分庫按月分表
    efcore如何優雅的實現按年分庫按月分表 介紹 本文ShardinfCore版本 本期主角: ShardingCore 一款ef-core下高性能、輕量級針對分表分庫讀寫分離的解決方案，具有零依賴、零學習成本、零業務代碼入侵適配 距離上次發文.net相關的已經有很久了,期間一直在從事java相關的 ...
  • 使用 Spacesniffer 找回 48G 系統存儲空間的總結
    前言 Spacesniffer 是一個免費的文件掃描工具，通過使用樹狀圖可視化佈局，可以立即瞭解大文件夾的位置，幫助用戶處理找到這些文件夾 當前系統C盤空間 清理後系統C盤空間 下載 Spacesniffer 下載地址：https://spacesniffer.en.softonic.com/dow ...
  • EDP .Net開發框架--許可權
    EDP是一套集組織架構，許可權框架【功能許可權，操作許可權，數據訪問許可權，WebApi許可權】，自動化日誌，動態Interface，WebApi管理等基礎功能於一體的，基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • 開源低代碼框架 ReZero API 正式版本發佈 ，界面操作直接生成API
    一、ReZero簡介 ReZero是一款.NET中間件 ： 全網唯一開源界面操作就能生成API , 可以集成到任何.NET6+ API項目,無破壞性，也可讓非.NET用戶使用exe文件 免費開源：MIT最寬鬆協議 , 一直從事開源事業十年，一直堅持開源 1.1 純ReZero開發 適合.Net Co ...
  • 記一次 .NET某酒店後臺服務 卡死分析
    一：背景 1. 講故事 停了一個月沒有更新文章了，主要是忙於寫 C#內功修煉系列的PPT，現在基本上接近尾聲，可以回頭繼續更新這段時間分析dump的一些事故報告，有朋友微信上找到我，說他們的系統出現了大量的http超時，程式不響應處理了，讓我幫忙看下怎麼回事，dump也抓到了。 二：WinDbg分析 ...
  • SqlSugar SqlFunc常用方法
    開始做項目管理了（本人3年java，來到這邊之後真沒想到...），天天開會溝通整理需求，他們講話的時候忙裡偷閑整理一下常用的方法，其實語言還是有共通性的，基本上看到方法名就大概能猜出來用法。出去打水的時候看到外面太陽好好，真想在外面坐著曬太陽，回來的時候好兄弟三年前送給我的鍵盤D鍵不靈了，在打"等待 ...
所有分類