zipkin+elk微服務日誌收集分析系統

来源:https://www.cnblogs.com/z-jx/archive/2019/09/24/11581883.html
-Advertisement-
Play Games

docker安裝elk日誌分析系統 在win10上安裝docker環境 tip:win7/8 win10 現在 Docker 有專門的 Win10 專業版系統的安裝包,需要開啟Hyper V。 程式和功能 啟用或關閉Windows功能 選中Hyper V 1、安裝 Toolbox 最新版 Toolb ...


docker安裝elk日誌分析系統

在win10上安裝docker環境

tip:win7/8

win7、win8 系統
win7、win8 等需要利用 docker toolbox 來安裝,國內可以使用阿裡雲的鏡像來下載,下載地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

win10

現在 Docker 有專門的 Win10 專業版系統的安裝包,需要開啟Hyper-V。

程式和功能->啟用或關閉Windows功能->選中Hyper-V

1、安裝 Toolbox

最新版 Toolbox 下載地址: https://www.docker.com/get-docker

點擊 Download Desktop and Take a Tutorial,並下載 Windows 的版本,如果你還沒有登錄,會要求註冊登錄。

2、運行安裝文件

雙擊下載的 Docker for Windows Installer 安裝文件,一路 Next,點擊 Finish 完成安裝。

安裝完成

Docker 會自動啟動。通知欄上會出現個小鯨魚的圖標img,這表示 Docker 正在運行。

我們可以在命令行執行 docker version 來查看版本號,docker run hello-world 來載入測試鏡像測試。

如果沒啟動,你可以在 Windows 搜索 Docker 來啟動。

鏡像加速

鑒於國內網路問題,後續拉取 Docker 鏡像十分緩慢,我們可以需要配置加速器來解決,我使用的是網易的鏡像地址:http://hub-mirror.c.163.com

  1. Win10可以點擊docker圖標在Settings中的Daemon來配置。
  2. 新版的 Docker 使用 /etc/docker/daemon.json(Linux) 或者 %programdata%\docker\config\daemon.json(Windows) 來配置 Daemon。

請在該配置文件中加入(沒有該文件的話,請先建一個):

{
  "registry-mirrors": ["http://hub-mirror.c.163.com"]
}

安裝elk

打開cmd\powershell,輸入docker命令:

docker run --ulimit nofile=65536:65536 -p 5601:5601 -p 9200:9200 -p 5044:5044 -p 5045:5045 -p 5046:5046 -d --restart=always --name elk sebp/elk

下載完會自動啟動,現在需要修改logstash配置:

docker exec -it elk /bin/bash #進入容器

cd etc/logstash/conf.d/

vim 02-beats-input.conf #修改input配置
--------------------------------------------覆蓋
input {    
    tcp {         
        port => 5044         
        codec => json_lines     
    } 
} 
output{  
    elasticsearch { 
    hosts => ["localhost:9200"] 
    }  
}

退出容器,重啟elk

docker restart elk

訪問localhost:5601可以進入kibana界面

Zipkin

需要安裝zipkin最新版本,最新版可以前往zipkin的github進行獲取

Maven倉庫鏈接:https://search.maven.org/remote_content?g=io.zipkin&a=zipkin-server&v=LATEST&c=exec

下載jar包,運行

下載jar包(版本可能會變),在jar的目錄下執行命令:

java -jar zipkin-server-2.16.2-exec.jar --STORAGE_TYPE=elasticsearch --DES_HOSTS=http://ip:9200(若在本機,可以使用localhost)

--STORAGE_TYPE 指明數據服務
--DES_HOSTS 指明地址

附錄

pom.xml依賴:

<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.2</version>
</dependency>

logback.xml配置:

<?xml version="1.0" encoding="UTF-8"?>
<!--該日誌將日誌級別不同的log信息保存到不同的文件中 -->
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml" />
 
    <springProperty scope="context" name="springAppName"
                    source="spring.application.name" />
 
    <!-- 日誌在工程中的輸出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}" />
 
    <!-- 控制台的日誌輸出樣式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />
 
    <!-- 控制台輸出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日誌輸出編碼 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>
 
    <!-- 為logstash輸出的JSON格式的Appender -->
    <appender name="logstash"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:5044</destination>
        <!-- 日誌輸出編碼 -->
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
 
    <!-- 日誌輸出級別 -->
    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="logstash" />
    </root>
</configuration>

來自blog.koreyoshi.work


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在上篇文章中 "SpringApplication到底run了什麼(上)" 中,我們分析了下麵這個run方法的前半部分,本篇文章繼續開工 6. 獲取系統屬性 但是這個屬性的作用還真不知道。。 7. 列印banner 8. 根據當前環境創建ApplicationContext 基於咱們的Servlet ...
  • PyCon China 是一年一度的 Python 中國開發者大會,今年上海站國內外大佬雲集,「流暢的 Python」作者、Flask 作者及核心維護者、PyCharm 開發者等等大佬都登臺演講。 ...
  • 今天一個同事問我文件複製的問題,他一個100M的文件複製的指定目錄下竟然成了1G多,嚇我一跳,後來看了他的代碼發現是自己通過位元組流複製的,定義的位元組數組很大,導致複製後目標文件非常大,其實就是空行等一些無效空間。我也是很少用這種方式拷貝問價,大多數用Apache提供的commons-io中的File ...
  • # -*-coding:utf-8-*- # !/usr/bin/env python # Author :vilicute ''' func:對某文件夾下的圖片進行批量裁剪 ''' import os import time from PIL import Image start = time.t... ...
  • 2019-09-24-23:24:24 一.什麼時生成器? 1.生成器的實質就是迭代器 二.生成器的獲取方式 1.通過生成器函數 2.通過各種推導式獲取生成器 3.通過數據轉換獲取生成器 三..案例 四.yield和return的區別 yield是通過分段執行函數,執行了yield不會立即停止函數的 ...
  • 預設情況下Spring Boot使用了內嵌的Tomcat伺服器,項目最終被打成jar包運行,每個jar包可以被看作一個獨立的Web伺服器。 傳統的Web開發,一般會將Web應用打成一個war包,然後將其部署到Web伺服器中運行。 Spring Boot也支持傳統的部署模式。 ...
  • 一、寫在前面 Requests 是用Python語言編寫,基於 urllib,採用 Apache2 Licensed 開源協議的 HTTP 庫。它比 urllib 更加方便,可以節約我們大量的工作,完全滿足 HTTP 測試需求。Requests 的哲學是以 PEP 20 的習語為中心開發的,所以它比 ...
  • 目前,GitHub 上最新 release 版本是 Zipkin 2.12.9,從 2.12.6 版本開始有個較大的更新,遷移使用 Armeria HTTP 引擎。 從此版本開始,若直接添加依賴的 Spring Boot 應用啟動會存在衝突,會報上面的錯,降到2.12.3版本就可以正常啟動了。 "參 ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...