로그 모니터링 시스템, 서버 리소스 모니터링 시스템 구축

[suhongkim98]

Describe
추가하고자 하는 기능에 대해 최대한 자세하게 설명해주세요.

• EFK 스택을 활용하여 로그 모니터링 시스템을 구축한다.
• 그라파나, 프로메테우스를 활용하여 시스템 리소스 모니터링 시스템을 구축한다.

[zkdl2727]

로그 모니터링 시스템

---

• 필요 이유

  • 파일 기반 로그 관리의 한계 && 다중 서버 환경에서의 로그 확인

    • 현재 우리 서비스는 로그 데이터를 파일 형태로 저장. -> 이 방식은 여러대의 서버에서 발생하는 로그 데이터를 각각 따로 확인해야 하며, 이는 로그 데이터의 관리와 분석을 어렵게 만듭니다.
    • 또한 현재의 로그 관리 방식은 서버마다 발생하는 로그 데이터가 분산되어 저장되기 때문에, 전체 시스템의 상태를 한눈에 파악하기 어려움. ->
    • => 즉, 로그 데이터를 중앙 집중적으로 수집하고, 효율적으로 검색하고 분석할 수 있는 로그 모니터링 시스템의 도입이 필요하다고 생각함.

  • 시스템 관리의 효율성 증대 : EFK를 이용한 모니터링 시스템과, 그라파나와 프로메테우스를 이용한 시스템 리소스 모니터링 시스템을 통해 시스템의 상태를 실시간으로 파악하고 이상 징후를 빠르게 감지 -> 시스템의 안전성을 높이고 문제 발생시 빠른 대응을 가능하게 함.

  • 서비스 성능 최적화 : 로그 데이터와 시스템 리소스 사용량 분석은 시스템의 성능을 최적하는데 필요한 정보를 알 수 있는 정보임으로 이를 통해 시스템 효율성을 높이고 비용 절감.

  • UX/UI 개선 : 시스템 성능 상태를 지속적으로 모니터링함으로서 UX 개선

    • ex) 로드 시간이 긴 서비스를 식별하고, 이를 개선하는 과정.

  • 로그를 파일에다가 쓰는 형식을 현재 사용중 -> 현재 서버가 여러개 있기 때문에, 각자 로그를 각자 봐야하고, 우리는 사실 서버가 fcm main으로 올려짐. 파일에다가 로그를 쓰면 각자 떨어지기때문에, 로그 확인과정에서 어렵고, 검색이 어렵기 때문에, 특정일자 검색, 특정 단어를 찾기 어려움 그렇기 때문에 이 문제를 해결하기 위해 이를 도입할려고 생각하게 됨.

  • 현재 로그 확인 불편함 : 현재 서비스는 파일에다가 로그를 쓰는 형식을 사용, 이 과정은 현재 서버가 여러개인 우리 서비스에서 로그를 찾는 과정이나, 특정일자 검색, 특정 단어를 검색하는데 어렵기 때문에 이를 도입할려고 생각함.

• EFK(ElasticSearch, Fluentd, Kibana)

  • 설명

    • ElasticSearch, Fluentd, Kibana 이 세가지 도구를 조합해 로그 데이터의 수집, 저장, 검색, 분석, 시각화를 한번에 수행하는 통합 로그 관리 시스템을 구축하는 도구.
    • ElasticSearch : 실시간 분산 검색 및 분석 엔진, 로그 데이터를 저장 검색하고 분석하는데 사용됨.
    • Fluent : 로그 수집 및 데이터 파이프 라인 구축 도구, 여러 소스에서 로그를 수집 후 이를 원하는 대상으로 전달하는 역할 수행.
      • 로그 데이터는 Fluentd를 통해 JSON 형식으로 변한되어 ElasticSearch로 전달
    • Kibana : ElasticSearch에서 저장된 데이터를 시각화하고 탐색하는 도구, 다양한 차트 그래프 등을 이용해 데이터를 시각화하고, ElasticSearch에 저장된 로그 데이터를 분석하는데 사용.

  • 작동 원리

    • Fluent(로그 수집) : Flentd를 통해 다양한 로그 소스(시스템 애플리케이션, 네트워크 장비 등)에서 로그 데이터를 수집하고 수집한 로그 데이터를 JSON 형태로 변환해 전달
    • ElasticSearch(로그 저장 및 검색) : Fluentd에 의해 수집된 로그 데이터들은 ElasticSearch로 전송되고 저장됨. ElasticSearch에서는 실시간 분산 검색 및 분석 엔진으로서 대용량의 로그 데이터를 빠르게 처리하고, 데이터를 검색할 수 있는 기능을 제공.
    • Kibana(로그 분석 및 시각화) : ElasticSearch에 저장된 로그 데이터는 Kibana를 통해서 분석, 시각화 과정을 가짐. Kibana는 ElasticSearch에 저장된 데이터를 기반으로 대시보드 생성, 그래프, 차트등으로 시각화해 문제 진단 등에 활용
    • => EFK 모니터링 시스템 : Fluentd로 로그를 수집하고, ElasticSearch로 로그를 저장 및 검색하며 Kibana로 로그를 분석 및 시각화하는 과정을 가짐. 즉, 로그 데이터 수집, 분석 시각화까지 한번에 처리할 수 있는 통합 솔루션을 제공.

• LOKI(오픈 소스 로그 집계 시스템)

  • 프로메테우스의 설계 철학(다차원 데이터 모델(키-값 쌍), 강력한 쿼리 언어, 자가 충분성)과 동일한 라벨 기반의 로그 시스템(로그 데이터를 라벨(키-값 쌍)으로 분류)을 제공, 이를 통해 사용자는 메타 데이터를 통해 로그를 분류, 검색 가능함.
    • 인덱싱 : Loki는 기존 로그 시스템과 달리 로그 데이터 자체를 인덱싱 하지 않고, 로그 스트림에 대한 메타 데이터만 인덱싱하기 때문에, 인덱싱에 대한 오버 헤드를 크게 줄여줌.
    • 통합 : Loki는 Grafana와 자연스럽게 통합되, 동일한 Granfana 인스턴스에서 메트릭과 로그를 병렬로 쿼리하고 시각화 가능함.
    • 효율성 : Loki는 로그 데이터를 압축하여 저장하기 때문에 저장 공간을 효율적으로 활용 가능함. 동일한 라벨 세트를 가진 로그 스트림을 함께 그룹화하여 쿼리 성능을 향상 시킴.
    • => 메타 데이터 기반의 인덱싱과 Grafana와의 효율적인 통합을 통해 로그 관리 및 모니터링을 간소화하는데 도움이 됨.

• EFK VS LOKI

  • EFK와 LOKI 모두 로그 데이터를 수집, 저장, 조회,분석하는데 사용되는 도구.
    • 인덱싱 방식 : EFK에서 Elasticsearch는 로그 데이터 전체를 인덱싱하여 검색 성능을 최적화합니다. 반면 Loki는 메타데이터만 인덱싱하고 로그 데이터 자체는 인덱싱하지 않아 저장 공간과 처리 능력을 효율적으로 활용.
    • 통합 : Loki는 Grafana와의 통합이 쉽습니다. 이로 인해 동일한 Grafana 인스턴스에서 메트릭과 로그를 병렬로 쿼리하고 시각화할 수 있습니다. 반면에 EFK 스택은 Kibana를 이용해서 로그 데이터를 시각화하며, Grafana와의 통합이 별도로 필요합니다.
    • 복잡성 : EFK 스택은 각 컴포넌트(Elasticsearch, Fluentd, Kibana)가 각각 별도로 설치 및 설정되어야 하므로 설정이 복잡할 수 있습니다. 반면에 Loki는 상대적으로 간단하게 설치 및 설정할 수 있습니다.
  • => Loki의 인덱싱 방식은 저장 공간과 처리 능력을 효율적으로 활용하는데 도움을 주기 때문에, 대량의 로그 데이터 처리시 효율적이고 Grafana와의 통합이 쉽기 때문에 시각화 작업이 용이
  • => ElasticSearch는 로그 데이터 전체를 인덱싱 하여 검색 성능을 최적화 하기 때문에, 복잡한 검색 쿼리를 자주 실행하거나, 데이터에 대한 깊은 분석이 필요할 경우에 효율적.
  • ==> 현재 우리 서비스의 경우엔 특정 시기(시험기간, 수강신청, 성적 조회 기간 등)에 평소보다 트래픽이 급증할 가능성이 존재하고, Loki의 저장공간을 활용하는 것이 용이해보임.
  • ==> EFK는 운영 리소스가 많이 필요하고, 각 컴포넌트를 별도로 설치하고 설정해야 함으로 개인이 로그 모니터링 시스템을 구축해야 한다면 상대적으로 설치 설정이 간단한 Loki 활용이 용이해보임.
  • 다만 현재 기업들의 경우엔 기존에 있던 EFK와 같이 검증된 기술들을 많이 사용. => 이미 많은 커뮤니티와 문서 사례등이 존재하기 때문, 그렇기 때문에 최근에 나온 Loki는 EFK만큼 널리 사용되지는 않지만, Grafana와의 통합과 메타데이터를 통한 저장 공간을 효율적으로 활용하는 특징을 통해 점점 관심을 받는 추세
  • 이 내용에 관련해서는 취업시장에서는 현재는 EFK를 통해 구축 경험을 획득하는 것이 좋아보이지만, 최근 상승하는 기술에 대한 학습태도? 경험또한 중요할 것이라 생각함.

• 그라파나 && 프로메테우스

  • 프로메테우스 : 메트릭을 수집하고 저장하는데 사용되는 시스템 모니터링 경고 툴

    • HTTP 프로토콜을 통해 서버로부터 메트릭을 스크래핑. 시간에 따른 시스템의 행동을 추적하고 분석하는데 사용
    • 메트릭 : 메트릭(특정 작업이나, 프로세스에 대한 측정값)
      • Ex)
        • CPU 사용률: 프로세서가 얼마나 바쁘게 작동하고 있는지를 나타내는 메트릭
        • 메모리 사용량: 시스템에서 현재 사용 중인 메모리 양을 나타내는 메트릭
        • 디스크 I/O: 디스크에 읽기/쓰기 작업이 얼마나 발생하고 있는지를 나타내는 메트릭
        • 네트워크 대역폭: 네트워크가 얼마나 많은 데이터를 전송하고 있는지를 나타내는 메트릭

  • 그라파나 : 메트릭을 시각화하는데 사용되는 도구

    • 프로메테우스와 같은 시계열 데이터베이스(시간에 따른 데이터를 저장 조회 특수한 형태의 DB)와 잘 통합됨. 그라파나는 사용자가 쿼리를 작성하고 그 결과를 다양한 형태의 차트 그래프로 시각화하여 시스템의 상태를 쉽게 분석하는데 사용

  • 사용 방법

    • 프로메테우스가 수집한 메트릭 데이터를 그라파나가 시각화하는 과정으로 리소스 사용량, 네트워크 대역포 , 메모리 사용량, CPU 사용량 등에 대한 통찰을 얻을수 있음.

  • 메트릭 활용 방법

    • 메트릭 제공: 메트릭은 서버나 애플리케이션에서 제공되는 정보로 서버나 애플리케이션은 메트릭을 수집하고 HTTP 엔드포인트에서 제공하는 과정을 거치게 됨. 이를 '메트릭 익스포즈'라고 부르고, 대부분의 현대 애플리케이션은 이러한 메트릭 익스포즈를 지원하며, 프로메테우스 클라이언트 라이브러리를 사용해 직접 메트릭을 생성하고 익스포즈 가능함
    • 메트릭 수집: 프로메테우스는 설정된 간격으로 메트릭을 익스포즈하는 HTTP 엔드포인트를 '스크래이핑'하게 되고 이는 프로메테우스가 주기적으로 해당 엔드포인트에 접근하여 메트릭 데이터를 수집하고 저장하는 방식. 프로메테우스의 설정 파일에서 어떤 서비스를 스크래이핑할 것인지, 얼마나 자주 스크래이핑할 것인지 등을 정의하고 설정 가능함.
    • 메트릭 시각화: 그라파나는 프로메테우스와 같은 데이터 소스로부터 메트릭을 가져와 시각화합니다. 그라파나 대시보드에서는 다양한 형태의 차트와 그래프를 사용해 메트릭을 표현할 수 있습니다. 이는 쿼리 언어를 사용해 메트릭을 조회하고, 원하는 방식으로 시각화하는 방식입니다. 그라파나의 쿼리 에디터에서는 프로메테우스의 PromQL 쿼리 언어를 사용해 특정 메트릭을 선택하고, 시간 범위를 지정하고, 필요한 계산을 수행 가능함.