2021년 1학기 시스템 개편 및 점검

[4whomtbts]

인프라 추가내용

• 용도별 private, shared NFS 제공을 위한 fstab 수정
  모든 서버에 global-share, group-share, user-share 생성 및 fstab에 추가(재부팅에도 유지하기 위함)
• 팜(Farm)용 서버 망분리 작업

인프라 수정 및 점검내용

• 1-9번 서버 그래픽 카드 모델과 드라이버 버전 확인, 같은 그래픽 카드에는 서버 전체에서 동일한 ubuntu driver로 통일
• NFS 및 container내에 사용하지 않는 대용량 파일 정리
• host machine 파일 및 디렉터리 정리
• 공지방에 점검안내

인프라 조사 내용

• GTX 3080 에 적합한 ubuntu driver 버전 서베이 및 tensorflow, cuda 등 지원 버전 및 backward compatibility 확인
• 새로운 서버 fan 사용량 상한 확인 및 조정

문서 보완내용

• docker hub 및 docker image 에 대한 내용 기재

일정

3.6 ~ 3.7 :

4~6번 서버 점검(fstab 추가, driver 설치, 파일 시스템 정리), Dcloud 배포 및 QA, Prometheus, Grafana 설치

3.10 ~ 3.11 :

1~3번 서버 점검(fstab 추가, driver 설치, 파일 시스템 정리), Dcloud 배포 및 QA, Prometheus, Grafana 설치

[4whomtbts]

4~6번 서버 점검결과 레포트

Prometheus 설치(4,5,6)

4,5,6 완료
스토리지 서버(192.168.1.20)에서 9090으로 prometheus 를 serve하고
192.168.1.1(4,5,6)은 node_exporter 를 서비스로 등록하여서 9100번에서 metric 노출

Docker REST API 노출

https://senticoding.tistory.com/94
4,5,6 Docker service 정의 파일에 2375 번 포트에서 REST API를 serving 하도록 변경

정리

1. Prometheus : 스토리지 서버(192.168.1.20) 의 9090 포트
   Node exporter: 4,5,6 서버(192.168.1[4,5,6]) 의 9100 포트
   Grafana NAT: 210.94.223.123:8089 -> 192.168.1.20:3000

2. 5,6 번 서버 fstab 에 NFS 매핑추가

필요한 추가작업

AlertManager 추가하여서 storage 나 ram hit 시에 알림