'어장관리 목록'에 해당되는 글 318건

간단하게 테스트할 서버 구축이 필요해졌다. 신규 OS를 설치 후, 기존의 OS에 설치된 프로그램들의 호환성을 테스트검증 해볼 일이 있었는데, 플젝 끝나고 시간이 한가해서 도와드리겠다고 한 상황. 

이러다가 Docker를 구축해서 사용하게 되었고, 대략적으로 필요한 소프트웨어들까지 설치하면서 까먹을까봐 정리하는 겸 작성해본다.

대부분의 명령어들은 ChatGPT-4o 를 통해 생성해냈고, 사용 PC 환경은 윈도우11 Pro, 라이젠7 Pro 5850U, 16기가램을 사용중에 있다.

윈도우 Docker 설치는 어렵지 않으니 이 부분은 그냥 패스하자.

기본적인 Docker 명령어

현재 Powershell 에서 사용중인 기본적인 Docker 명령어는 다음과 같다.

이외에도 몇몇이 더 있긴 한데, 기본적으로 이정도만 알고 있어도 당장 사용하는데에는 큰 무리가 없다. 

특히 docker exec -it 명령어는 실행 한 후에 직접 쉘 접속을 하는 경우가 존재하므로 가장 중요하다 생각된다.

이번 요구사항 중 특이한 요구사항이 있었다. 사실 특이... 까진 아니긴 한데, 설계 하다보니 이건 특이할 수 밖에 없는 상황이 생겨버림. 대략적인 설명은 다음과 같다.

원래대로라면 그냥 신청을 하는 WEB단에서 API 서버로 FTP 전송 요청을 하면 수행하는 구조로 생각했는데, 기본적인 전송 단위가 몇기가 단위이다보니 자칫하다가는 Web Session Timeout이 발생할 수도 있는 상황. 그리고 3번과 같은 요구사항에 의해 결국 FTP 전송과 관련된 DB Table을 설계하고, API 서버에서는 해당 Table을 주기적(Scheduled)으로 Select 하면서 전송건이 있는지를 체크하는 방식으로 설계를 했다.

그리고 4번의 전송건과 관련해서 결국 Async 방식으로 FTP 호출을 하는 것으로 구현했다. 즉, 5명의 사용자가 각기 5개의 데이터를 전송요청 하는 경우, Async Thread에 의해 5개의 FTP 세션을 생성하고 전송할 것이다.

그런데 여기서 문제가 발생한다.

가령 DB 호출 스케쥴러가 10분에 한 번씩 작동한다고 가정하자. 첫 구동시 A 데이터(사이즈 100기가)가 Select 되어 FTP 전송을 하는데, 대략적으로 100분이 걸린다고 할 때, 전송이 완료되는 시점까지 스케쥴러는 이 데이터를 계속 호출할 것이다. 단순하게 DB 쿼리로 걸러내면 되지 않을까? 라고 생각했으나, DB 쿼리로 걸러낸다 하더라도 내부적으로 방지하는 로직을 구현해야 할 것으로 판단했다. 

중복실행 방지 Async를 위해  제미니에게 물어보니, Async Queue를 관리하는 로직을 구현해주었고, 사용법이 쉬워 적용해보았더니 아주 잘 동작하게 되었다. 이하는 해당 로직의 간단한 소스코드와 예제이다.

싱글톤 패턴으로 모든 클래스에서 단 하나의 인스턴스만 생성하는 구조로, 여러개의 쓰레드가 접근하여도 단 하나만의 키를 관리하는 방식으로 구현되어있다.

주석에 달린 설명과 같이 사용법이 크게 어렵지는 않다. 나의 경우에는 아래와 같은 방식으로 로그가 발생하였다.

USERKEY-1~4 까지 Unique 한 값으로 QueueCache에 등록하고, 모든 로직을 수행하기 직전에 isReq(USERKEY-1)하는 식으로 Queue에 등록되어있는지를 확인한다. 없는 경우, Queue에 등록(putReq)을 한 후, 모든 작업이 종료되거나 또는 exception이 발생하는 경우 removeReq를 통해 Queue 에서 삭제를 한다.

이로인해 수시간 동안 동작하는 경우에도 안정적으로 Async FTP 전송을 수행할 수 있었다. 메데타시 메데타시.

아니 왜 응답 날짜값을 UTC로 주는지 모르겠다 증말. 이런건 그냥 심플하게 심플데이터 포맷으로 yyyyMMddHHmmssSSS로 찍어주면 어디 덧나나? 와 진짜. 아무튼 주는대로 받아먹어야하니 대충 정리해보았다.

날짜 형식은 다음과 같다.

대충 찾아보니 UTC 형식의 DateTime으로, Simpledateformat을 기본으로 쓰는 내 시스템과는 근본적으로 달라서 날짜비교나 뭐 그런 기본적인 펑션이 하나도 먹지 않는다. 그래서 변환해서 DB에 넣고 꺼내기로 함.

java 1.8, SpringBoot 2.7.8 에서 실행했는데 이정도는 딱히 뭐 버전을 탈 일은 없겠지. 아무튼 잘 동작한다.

이번엔 외부시스템과 인터페이스 통신을 하는데, SSL 통신을 한다. 근데 뭐 고객사에서는 SSL 통신을 하는데 인증서도 안주고 도메인으로 통신하는 것도 아닌 IP 통신인지라 당연히 PKIX 오류가 발생하기 마련.

이 오류는 SSL 통신시 인증서 검증에서 실패했다는 뜻으로, 우리가 흔히 웹 브라우저로 인터넷 하다가도 '신뢰 할 수 없는 인증서입니다~ 무시하고 계속할래~?' 하는 식으로 묻는것도 이와 같은 맥락이라고 볼 수 있다. 

curl 에서는 -k 옵션 하나로 간단히 무시할 수 있는데, JAVA 에서는 쉽지 않았다. 이하는 try catch 부분.

java 1.8 및 SpringBoot 2.7.8 에서 수행했다.

오류는 다음과 같다.

대충 curl 호출부는 다음과 같다. 이렇게 호출하면 성공한다.

curl 호출시 -k 옵션은 인증서 검증 우회하겠다는 의미이다.

이하는 java 소스코드.

전반적으로 httpURLConnection과 같은 양상을 띄지만 SSL 통신 설정부라거나, 기타 잡다한 설정들이 더 추가가 되어있다.

TrustAllCerts 부분과 setHostnameVerifier 부분을 잘 염두에 두면 큰 문제 없이 성공할 수 있다.

가장 중요한 부분은 url.openconnection  하기 전에 trustAllCerts를 선언해주어야 한다는 점이었다....

sftp를 활용할 프로젝트가 생겼다. 대충 개발망에서는 라이브러리가 없으니까, 외부 개인 놋북에서 샘플소스코드를 작성 하고 라이브러리를 반입하기로 했다. 이하는 대충 짜보고 찾아보고 제미니에게 물어본 소스코드.

Springboot 2.7.8, jcraft jsch 라이브러리는 0.1.55 버전 (0.1.54 버전도 동작됨을 확인함) 이다.

1. SftpUtil.java

유틸과 같이 target Path , target FileName 정도만 입력받으려고 구성했다. 어차피 sftp 접속정보는 application.properties에 작성되어있을거니까.

소스코드가 좀 길기는 한데, 어차피 Upload / Download는 공통적인 connection / disconnection 과정을 거치기에 상관은 없다.

호출부는 다음과 같다.

2. Rest Controller 

이정도면 충분한듯.

각각의 호출부는 host , port , userid , userpw 모두 입력받고, 메서드에 따라 파일 및 경로 등을 같이 인자값으로 던지게 된다. 일단은 이정도로 되었다... 

*** 알아둘 점 ***

리눅스에서 디렉토리 구분자는 / 를 사용하는데 반해, 윈도우에서는 디렉토리 구분자를 \를 써야 한다.

그런데 ftp(sftp포함)에서는 무조건 /를 사용해야하니 저렇게 작성된 것. 그에 비해 File 메서드 같은 경우는 Windows OS에서 구동되는 자바 프로그램이기 때문에 \ 를 사용함을 볼 수 있다.

이렇게 또 하나 배우는구만... 어차피 리눅스 드가면 슬래쉬 쓸거...

windows 11 에서 sftp 개발을 할 일이 생겼다.

별도 개발서버도 없고 하니 그냥 개인 노트북에 sftp 서비스를 열고, 관련된 계정을 생성하면 될 것이라 대충 예상하고 구글링을 시작. 다음과 같은 순서대로 sftp 서비스를 windows11 에서 구동했다.

1. sftp 관련 windows 추가프로그램 설치

제어판 > 프로그램 및 기능 > Windows 기능 켜기/끄기 메뉴에서 위와 같은 노란색의 항목들을 모두 설치했다. 그런데 이것만으로는 안열리길래, 좀 더 찾아보니 다음과 같은것도 설치해야 하더라.

설정 > 시스템 > 선택적기능 메뉴에서 OpenSSH 서버 및 OpenSSH 클라이언트를 모두 설치했다. 비로소 서비스를 구동할 준비가 된 셈.

2. sftp 전용 계정 생성

컴퓨터 관리 > 로컬사용자 및 그룹 > 사용자 에서 오른클릭을 통해 새 사용자를 만들어준다.

이 때 사용자 이름 및 암호/암호확인은 자신의 취향껏 작성해주고, 귀찮지 않으려면 '암호사용기간 제한없음' 옵션을 추가하자. 어차피 로컬 개발용이니까 개발하는데는 문제는 없다.

새로 만들어준 계정에 IIS_IUSRS 그룹권한을 넣어준다. 이 부분은 깊게 파보진 않았는데 IIS_IUSRS쪽이 IIS 서비스를 담당하는 그룹 권한인 것으로 추정된다. 아무튼, 이 계정으로 이제 sftp를 접속할 수 있는 셈.

3. sftp 서비스 시작

서비스 메뉴로 들어가서 OpenSSH Server 를 실행하자. 이제 기본포트(sftp의 경우 22) 로 서버가 구동된 셈이다.

Windows Powershell을 통해 sftp sftpUser@localhost 명령어를 입력하면 sftp에 접속된 것을 확인할 수 있다. 

이로써 sftp 서비스 구동은 끝.

IIS 서비스 쪽에서 sftp 바인딩을 18800으로 해줬는데도 접속을 못하길래  삽질하다가 알고보니 기본포트로 서비스가 열린것을 확인했다. 18800 포트로 어떻게 바꾸는거지? 이걸 좀 더 찾아봤다.

4. sftp 서비스 포트 변경

C:\ProgramData\ssh 디렉토리에 sshd_config 라는 파일이 존재하고, 이를 열어보면 다음과 같이 설정됨을 확인할 수 있다.

#Port 22
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::

주석으로 막혀있다는 것은 기본으로 설정된 것이 22 라는거고, 이걸 18800 으로 바꾸고 주석을 해제하면 잘 되겠지? 한 번 해보자.

관리자 권한을 요구하길래, 메모장 프로그램을 오른클릭 > 관리자권한 으로 실행한 다음 sshd_config 파일을 열어 수정했다.

그리고 서비스 > OpenSSH SSH Server를 재시작!

테스트용 소스코드가 정상적으로 동작됨을 확인했다.

Powershell 에서 sftp 접속하는 명령어는 sftp -P port userId@host 가 된다. ㅋㅋㅋ 잘 되네 .

이거 뭐라 오류가 난 것도 좀 거시기 하고 해서 쓰기가 애매하긴 한데, 아무튼.

Springboot 2.7.8 버전에서 Controller > Service > ServiceImpl > mapper > sql 로 이루어지는 과정에 있어 Return VO가 null 인 것을 확인했다.

쿼리도 그렇고 VO도 그렇고 아무런 문제가 없는것임에도 불구하고 도저히 뭐가 문제인지를 모르겠어서, sql에서 resultType을 VO가 아닌 java.util.hashMap 으로 받아보았더니 정상적으로 DB 쿼리가 조회되는데, Key 값이 스네이크 케이스로 들어온 것을 확인했다. 이러니까 카멜케이스 기반으로 작성된 vo에 매핑이 안되어서 null이 뜨는거지.

그런데 이게 대체 왜 지금와서 문제지? 지금까지 수행해온 프로젝트에서는 이거 다 매핑이 되었는데? 싶었다.

대충 찾아보니 mybatis 에서 이걸 옵션값으로 넣어주어야 한다는데, 내가 처음부터 밑바닥부터 세팅한 프로젝트는 지금이 처음이라서 그런가 싶었다.

아무튼, application-local.properties에 아래와 같이 넣어주니 스네이크 케이스의 컬럼값이 카멜케이스의 vo 값에 잘 넣은것을 확인할 수 있었다.

와 진짜 별거 아닌걸로 30분은 날린 것 같네. 지금까지는 어디선가 이 옵션을 누가 넣어줬던걸 썼나... 

http request logging이라고 표현하는게 옳은것인지는 잘 모르겠지만 아무튼, API 인터페이스 서버를 개발하면서 요청시스템코드/요청자 아이디/응답시간/요청URI 와 같은 것들만을 간단하게 로깅해야하는일이 생겼다.

과거 다른 프로젝트에서 해둔 게 있었는데 전자정부 기반(이라고 해봤자 사실 스프링이랑 차이가 없음)이라, 조금 손보고 해서 SpringBoot 2.7.8 버전에 맞게 수정했다.

이것만 해서는 되지 않고, 기존에는 직접 해당 interceptor 에서 log파일까지 생성해서 append 하는 방식이었는데, 나는 이걸 logback에서 로깅하는 방식으로 수정해보았다. 로컬 개발환경에서는 잘 돌아가지만, 개발서버에서는 DispatcherServlet도 같이 로깅되는 문제가 있기는 하다. 이거에 대해 수정하는 건 좀 나중으로 미루고, 일단은 까먹기 전에 기록을 먼저 하는 걸로 하자.

1. LoggingInterceptor.java

엄청 길어보이지만 사실 별거 아닌 소스이다. 

URL HttpServletRequest가 올 때 preHandle이 먼저 가로채서 적당한 데이터들을 가공해서 넣어준 후, URL에 매핑된 controller 가 실행된 후, postHandle이 가로채서 preHandle에 넣어준 데이터들을 빼내어 로그형태를 가공한다.

간단히 정리하자면 다음과 같다

(Client) Http URL 요청(Httprequest) -> (서버) Interface의 preHandle -> (서버) URL 매핑된 controller 로직 수행 -> (서버) client 응답 전 Interface의 postHandle -> (Client) Http URL 응답(HttpResponse)

그럼 이걸 어떻게 logback에서 설정했냐, 하면 다음과 같다.

2.WebConfig.java

logback을 설정하기 전, WebMvcConfig를 만들고 여기서 interceptor를 정의해주어야 한다.

23번째 줄이 LoggerInterceptor를 정의해주는 부분이다.

3. logback-spring.xml

logback 설정은 나중에 좀 더 자세히 알아보고,

nterceptor가 위치한 패키지의 경로를 41번 라인에서 지정해주고,

42번에서 지정한 appender-ref를 통해 위의 16번 라인의 appender 설정을 수행하게 된다.

가장 중요한 건, 41번 라인의 logger name 부분으로 여기에서는 로그를 찍을 대상 패키지를 지정해야한다.

이렇게 저장하면 큰 문제는 발생하지 않는데, 로컬에서는 내가 의도한대로 로그가 잘 남기는 하지만, 개발서버에서는 DispatcherServlet 로그가 잔존해서 남는 문제가 발생하고 있다. 문제까지는 아니긴 한데, 이게 왜 같은 패키지가 로컬/개발서버에서 각기 다르게 뜨는지는 조금 더 연구가 필요한 상황.

아무튼 이거 나중에 로그 파일 분리하는 방향으로 많이 활용될 것 같아 작성해보았다.

*** interceptor.log에 spring dispatcher servlet 로그 등이 남는 것들에 대해 수정하여 덧붙인다.

interceptor 로그에 위와 같이 작성할 경우, 스프링 프레임워크의 로그들도 남고 있었는데 오만가지 잡다한 설정을 수정해봐도 안되길래 혹시나, 싶은 마음으로 실행 스크립트를 살펴보니 --debug 옵션을 주고 있었다.

이걸 빼니까 위 설정만으로 해결이 완료됨ㅋㅋㅋㅋ

log 파일을 java interceptor 에서 직접 작성해야하나 아주 고민이 많았는데 다행히 잘 먹었다. ㅋㅋㅋ

API 서버를 구현하다보면 뭐 Header에 토큰을 넣느니, 시스템 구분코드를 넣어서 타 시스템은 튕겨낸다느니 하는 일종의 Autorization 로직을 구현하는 경우가 있다. 내부망 시스템에서 토큰까지는 조금 오버인 것 같고, 다만 허용 시스템 코드를 리스트화 한 후에 허용된 시스템만 API를 태우자, 는 방침에 따라 대충 구현해봤다.

구글 제미니가 코드를 기깔나게 짜주었는데, 개발망에서 잘 안돌길래 두시간동안 쌩고생 하면서 고친 썰도 같이 푼다. 시작.

1. HeaderInterceptor.java 구현

HeaderInterceptor를 구현해준다. 대충 이렇게 구현하면 Spring 2.x 버전대에서는 HandlerInterceptorAdapter가 discard 되었다고 경고가 뜰 것이다. 그냥 써도 무관한데, 거슬리면 extends HandlerInterceptorAdapter 대신, implements HandlerInterceptor로 써주면 된다.

header에 callSysCd가 있는지를 판단하고, 있다면 "authCode"라는 문자열과 일치하는지 체크한다. 일치하면 그대로 API를 태우지만, 일치하지 않거나 없다면 401 에러를 return 하게 된다.

당연하게도, 검사문자열을 List 형태로도 구현할 수 있다.

2. WebMvcConfig.java 구현

이렇게 구현해주고, 하단의 addPathPatterns에 걸러낼 url을 입력받는다. 위와 같이 입력받는 경우, localhost:8080/test/example.do와 같은 하위의 모든 url들은 interceptor에 의해 callSysCd의 여부를 체크할 것이다. 물론, localhost:8080/example.do 는 위의 패턴 url과 다르기에 여부체크를 하지 않는다.

이를 응용한다면, login.do는 header를 검사하지 않고 mypage.do와 같은 로그인이 필요한 부분에 대해서만 검사하는 식으로 응용이 가능하다.

3. 오류

외부망에서는 개발 순식간에 해두고, 개발망에서 적용했는데 interceptor가 하나도 안먹길래 대체 뭐가 문젠가 하고 뒤져보니 다음과 같이 별거 아닌곳에서 문제가 생겼었다.

나의 경우에는 위의 예시들이 com.test.config/* 디렉토리에 위치해 있었는데, 정작 메인메소드에서는 @SpringBootApplication(scanBasePackages="com.test.common") 이라고 되어있었으니 패키지 스캔이 제대로 안되어서 인터셉터들이 하나도 동작하지 않은것이었다. 로그도 안찍히고 해서 얼마나 당황했던지.

아무튼 별 거 아닌것을 찾아서 다행이었다.

요 며칠 쓰는 내용들은 죄다 한 3~4년 전 쯤 플젝하면서 다 설정해둔건데, 역시 사람은 기록해두지 않으면 까먹는건지 뭔지, 기억은 나는데 당최 이게 뭐드라? 하는게 많아 정리하기 시작했다.

아무튼, tibero driver와 같은 jar 파일 또는 커스텀 jar 파일들은 당연히 maven 센트럴 repository에 없기 때문에 maven build 또는 maven package를 하면 결과물 jar 파일 내에 패키징되지 않는다. 이를 위한 설정을 밑에 적어두니 나와 같이 혼란스러운 분들에게 도움이 되었으면 좋겠다.

1. pom.xml 설정

pom.xml 에서 다음과 같이 설정해준다.

<properties> 태그 하위에 <webapp.lib>의 경로를 설정해준다.

이후 webapp.lib은 하위의 외부 라이브러리들의 path를 잡아주는데 활용이 된다.

만약, src/main~ 의 경로가 아닌 다른 경로라면 당연히 수정해줘야한다.

tibero-jdbc 드라이버를 지정해주는데 있어 저런 식으로 해주면 된다. 기존에는 groupId나 artifactId들을 그냥 whatever로 설정했던것 같은데 이번에는 약간 공들여서 설정해보았다.

*** 가장 중요한 부분 ***

pom.xml의 하단부 configuration 하위에 <includeSystemScope>true</includeSystemScope> 옵션을 꼭 넣어주어야 한다. 이 옵션을 넣어주지 않으면 다른 설정을 다 해줘도 maven package 할 때 죄다 빠져버리게 된다.

pom.xml 에서 이렇게 설정해주면 끝난다.

2. /src/main/webapp/WEB-INF/lib 하위에 라이브러리 추가

그냥 뭐 어려운 거 없이 folder를 만들어서 위의 디렉토리 구조에 맞게 라이브러리를 넣어주면 된다.

3. maven package

그냥 돌리면 끝난다.

그럼 jar package 파일에 잘 들어와있는것을 확인할 수 있다. ㅋㅋㅋ