[NCP] Data Query로 용량이 큰 엑셀파일, 데이터를 다루기
·
Cloud
문제 상황1. 대량의 물리 자산 데이터를 다루고 있는데 엑셀 파일의 용량이 너무 크다(대략 20만건) 2. Fast API와 Pandas를 사용해 엑셀 데이터를 웹에 업로드 하면 특정 필터링을 거쳐 엑셀 파일을 새로 내려주는 로직을 만들어줬다.3. 하지만 용량이 너무 커서 (20만 행에 189KB) 필터링만 하다 4분이 지나고, 결국 HTTP커넥션이 끊겨버렸다. (Nginx는 Keep-Alive time이 75초라고 한다.)왜 Data Query를 사용했을까?1. 팀원 모두 접근 할 수 있는 웹 페이지 / 콘솔에서 대량의 데이터를 필터링해서 엑셀로 내려주기만 하면 된다!2. 당시 NCP를 쓰고 있었기 때문에, NCP의 Data Query기능을 사용해 대량의 데이터를 필터링 해서 엑셀 export하기로 했..
[NCP] NCP NAS Storage에 파일 저장하기 (with NKS)
·
Cloud
문제 상황K8s의 pvc를 통해 NCP Nas와 연동을 했는데 Nas스토리지에 파일이 제대로 적재 되고 있는지 확인하고 싶다.근데 내 노트북은 그램이다. NAS는 NFS 프로토콜을 사용하고 있다. 어떻게 해야하지?!NFS들어가기 전에 NFS 프로토콜을 먼저 알아보자.네트워크를 통해 파일 및 디렉토리를 공유하기 위한 시스템이다.자신 서버의 파일 시스템에 저장하는 것이 아닌, 다른 서버의 파일 시스템에 데이터를 저장하는 것이다.이 기능을 사용하면 여러 다른 서버의 호스트가 공유된 서버에서 파일을 공유할 수 있다.NFS는 Unix 계열 OS를 위해 설계되었기 때문에 Linux는 기본적으로 NFS를 사용한다.만약 윈도우에서 NFS를 사용해야한다면 아래 글을 참고해서 연결하면 된다.https://makeutil..