[NCP] Data Query로 용량이 큰 엑셀파일, 데이터를 다루기
·
Cloud
문제 상황1. 대량의 물리 자산 데이터를 다루고 있는데 엑셀 파일의 용량이 너무 크다(대략 20만건) 2. Fast API와 Pandas를 사용해 엑셀 데이터를 웹에 업로드 하면 특정 필터링을 거쳐 엑셀 파일을 새로 내려주는 로직을 만들어줬다.3. 하지만 용량이 너무 커서 (20만 행에 189KB) 필터링만 하다 4분이 지나고, 결국 HTTP커넥션이 끊겨버렸다. (Nginx는 Keep-Alive time이 75초라고 한다.)왜 Data Query를 사용했을까?1. 팀원 모두 접근 할 수 있는 웹 페이지 / 콘솔에서 대량의 데이터를 필터링해서 엑셀로 내려주기만 하면 된다!2. 당시 NCP를 쓰고 있었기 때문에, NCP의 Data Query기능을 사용해 대량의 데이터를 필터링 해서 엑셀 export하기로 했..