입사 10일차
오늘까지 협력사 네 곳을 위한 데이터 크롤러의 기본 기능을 완성했다. 협력사 세 곳의 기본 데이터를 모두 추출해 디비에 올렸다. 나머지 협력사 한 곳의 데이터 준비를 약 80%가량 마쳤다. 내일이면 기본 데이터는 모두 준비 완료. 테이블은 백 몇십개가량 되지만, 총 데이터량은 1천만 로우가 좀 안될 것 같다. 그래도 로그가 아닌 스태틱 데이터니까 적은 편은 아닌 듯. 오늘은 좀 머리가 안 돌아가서 멍때리고 있던 시간이 많아 야근을 했다. Node.js 의 writeStream 과 fs.write 를 사용해 수백메가 이상의 파일을 빠르게 읽고 쓰는 경우 몇가지 문제가 생겼다.
버퍼 배열을 만들어 drain 으로 메모리 사용을 줄이고, 랙을 방지해서 해결했다.
하지만 무엇보다 영어가 가장 큰 문제다 ㅠㅠㅠㅜ