Prometheus & Grafana - Status Monitoring각 서버들의 상태 metric들을 수집하는 Prometheus와 그 metric 데이터들을 시각화 해주는 Grafana 구축 방법을 포스팅 합니다.저는 현재 메인 서버가 있고 메인 서버에서 Prometheus를 이용해,하위 서버들의 Metric을 받아 Grafana Dashboard를 통해 서버의 Resource들을 모니터링 할 예정이고,툴 선정하기 전 가볍게 써보고 정하자는 생각으로 일단 간단하게 만들어 보았습니다.Metric 수집 대상 서버 설정Linux ServerMain Server를 설정하기 전, 메트릭 수집을 원하는 서버에 node-exporter 컨테이너를 실행시켜 주면 Sub Server는 설정 완료입니다.Linux에서..

CronTab 사용법특정 IP:Port에 대한 HTTP Request가 Connection Refused가 뜰 때 Docker Container를 Kill 하고 재기동 하는 Cron을 예시로 작성해 보겠습니다.skw@skw:~$ curl -X GET http://localhost:3546/v1/core/instancescurl: (7) Failed to connect to localhost port 3546 after 0 ms: Connection refusedCronTab에 적용할 Shell Script를 먼저 작성해줍니다.로그 파일의 크기를 50MB로 제한50MB가 넘어갈 시 오래된 로그 삭제 및 새로운 로그로 대체특정 API에 GET 요청을 보냈을 때 Connection Refused가 아니라면 "..

Linux Graphic Driver & Remote GUI를 위한 TigerVNC 설정 📌 사전 준비 사항 Ubuntu Server 22.0 LTS 버전 설치 (OS 설치중 파티션 분할 시, /swap 파티션은 메모리의 2배 용량으로 잡아 주기) 설치된 Ubuntn Server Home 디렉터리에 GPU에 맞는 Nvidia Graphic Driver(.run 파일) 두기 ⚙️ 1. Nouveau Kernel Driver 시스템 블랙리스트 추가 이 커널은 Nvidia Driver 커널과 충돌이 일어나므로 시스템 블랙리스트 목록에 추가해서 충돌을 방지 해 줍니다. 설치 후 Reboot을 무조건 수행해야 하므로 이 스크립트를 먼저 실행 해 줍니다. #!/bin/bash sudo apt-get -y remov..

📘 해결해야 할 문제 문제 1 - Remote SSH GUI Rendering 실패 회사 일을 하다가 영상 분석 서버(Ubuntu)를 Remote로 GUI를 연결하려고 했으나 CLI만 연결되는 현상이 있었습니다. 이 부분은 Ubuntu Desktop을 설치하고 원격을 연결하려고 할 때 발생하였는데, 여러 방법들을 시도해 보다가 Tiger VNC를 사용하기로 하였습니다. 문제 2 - OpenGL Rendering 실패 아래 Tiger VNC 세팅 과정을 통해서 NVIDIA, Cuda Toolkit, OpenGL이 전부 인식이 잘됨에도 불구하고, Remote로 GUI를 연결 후 Docker Container를 실행하였으나 컨테이너 내부의 OpenGL이 렌더링되지 않는 에러인 glfw Error: 65544 ..

🚩 Nouveau Kernel Driver 제거 Ubuntu 22.04 LTS 버전에서 Nvidia Graphic Driver & Cuda Toolkit & OpenGL 설치 중 에러를 만났습니다. 이미 존재하는 nouveau 커널 드라이버와 설치하려는 그래픽 드라이버와 충돌이 나서 Installation이 자꾸 실패합니다. 로그를 보면 Nouveau Kernel Driver가 현재 사용 중 이라고 뜨고 있습니다. $ cat /var/log/nvidia-installer.log nvidia-installer log file '/var/log/nvidia-installer.log' installer version: 535.75 PATH: /usr/local/sbin:/usr/local/bin..