가짜연구소 LLM Technical Report Study를 진행하며 스터디 준비 및 공부자료를 정리하였습니다. https://pseudo-lab.com/projects/a5975fe9-0b62-4b54-a99c-223817f4e80a?tab=attendance 한줄평- LLaMA1이랑 큰 차이는 없음- Safety, Rewarding에 초점을 둔 모델 (26년10월 현재는 Safety에 집중하진 않음) 1.Background- 내가 맡은 부분: Tokenzier, BPE, ByteFallBack 1-1. Tokenizer- 문자열을 모델이 인식할 수 있게 토큰화 하는 과정- 토큰으로 자르고 -> 정수 ID로 바꾸고 -> ID로 임베딩 벡터를 찾는다. 1-2. Subword 그리고 BPE- Subwo..

의문의 시작점현재 상황: 프론트엔드 pod와 백엔드 pod를 같은 Cluster에서 운영중API 요청은 프론트엔드 pod에서 백엔드 pod로만 흐르는데,왜 1) 백엔드 service에 대한 라우팅 규칙이 ingress에도 올라가고, 2) 백엔드가 ingress 트래픽을 받아야하는가? 에 대한 의문이 생겼다.그래서 궁금해졌다. 리액트로 만들어진 웹사이트에서 API 요청을 보내면 왜 굳이 IGW를 거쳐야하는지!!CSR과 SSR에서 등장하는 서버가 대체 뭔데?이 의문을 풀기 위해서는 CSR과 SSR의 동작 방식에 대한 차이를 알아야한다.CSR은 웹 브라우저에서 JS를 사용하여 웹페이지를 렌더링하는 방식이다. 사용자의 브라우저가 서버로 부터 데이터를 받아와서 직접 웹사이트를 생성한다.SSR은 서버에서 HTML을..

문제 상황1. 대량의 물리 자산 데이터를 다루고 있는데 엑셀 파일의 용량이 너무 크다(대략 20만건) 2. Fast API와 Pandas를 사용해 엑셀 데이터를 웹에 업로드 하면 특정 필터링을 거쳐 엑셀 파일을 새로 내려주는 로직을 만들어줬다.3. 하지만 용량이 너무 커서 (20만 행에 189KB) 필터링만 하다 4분이 지나고, 결국 HTTP커넥션이 끊겨버렸다. (Nginx는 Keep-Alive time이 75초라고 한다.)왜 Data Query를 사용했을까?1. 팀원 모두 접근 할 수 있는 웹 페이지 / 콘솔에서 대량의 데이터를 필터링해서 엑셀로 내려주기만 하면 된다!2. 당시 NCP를 쓰고 있었기 때문에, NCP의 Data Query기능을 사용해 대량의 데이터를 필터링 해서 엑셀 export하기로 했..

왜 Loki가 필요할까?팀원 모두 k8s 서비스에서 수집하는 로그를 보고자하는 니즈가 있었고kubectl log 그만 치고 싶었다.사실 로그 수집하는 솔루션은 굳이 Loki가 아니여도 된다. 데이터독 같이 우수한 솔루션을 붙여도 된다.하지만 나는 돈이 부족했기 때문에 오픈소스 Loki를 사용하게되었다.Loki야 해-줘더보기글에 오류가 있을 수 있습니다. 오류는 댓글에 남겨주시면 정말정말 감사하겠습니다.소중한 시간 내어 봐주셔서 감사합니다:) Helm 설치 (이미 설치 되어있다면 패스)다양한 애플리케이션을 k8s에 쉽게 배포할 수 있게 도와준다.Node.js의 npm, Python의 pip같은 개념이다.k8s가 자체 제공하는 API가 아닌 타 라이브러리의 의존성이 추가되기 때문에 Helm을 설치하여 ..