Jenkins 에서 갑자기 Job 생성이 안될 때

잘 사용하던 Jenkins 에서 위와 같은 메시지를 출력하며 신규 잡 생성이 안된다. 기존 잡 동작은 정상이다. 

 

Jenkins 관리 > System Log 로 이동해서 로그 화면을 열어 위에 명시된 Logging ID 로 조회해보니 아래와 같은 에러가 확인됐다.

 job 관련 디렉토리가 생성되었는데 이게 read-only 라는 거 같다. 응? 기존에는 잘 생성되었는데 왜 갑자기? 더 신기한 것은 젠킨스는 이외에도 많이 있고 모두 k8s 환경에 helm 으로 구축했다. 관련 yaml 파일을 확인해보니 딱히 다른 게 발견되지 않았다..

 

그런데 실제  위 Jenkins 컨테이너에 접속해서 /var/jenkins_home/jobs 디렉토리에 mkdir 로 아무 디렉토리나 생성해보려고 했는데 진짜 아래와 같은 에러를 출력하며 생성이 안된다.(참고로 다른 젠킨스에는 직접붙어서 디렉토리 생성 잘 됨)

mkdir: cannot create directory ‘test’: Read-only file system

 

 

서칭해보니 이건 젠킨스 문제가 아니라 os 자체 파일시스템에 문제가 있는거라고 한다. 안될 때 가장 단순한 해결책은 재부팅..helm upgrade 를 통해 젠킨스를 재구성 하니 해결 되었다. 만약 pm 환경이었다면 젠킨스 백업이 되어 있지 않았다면 굉장히 복잡해졌을 수도 있을 거 같다.