애증의 AI 허브 데이터

어떻게 마무리했는지 모르게 중간 프로젝트가 끝나고 바로 파이널 프로젝트가 시작되었다. 이번엔 AI 허브 데이터를 사용하는데 데이터 형식이 정말... 모든 정보가 때려넣어진 json 파일과 씨름하고 있다. 용량은 또 얼마나 큰지 json 파일로 12GB나 된다. 로컬에 다운로드 하느라 시간 쓰고 구글 드라이브 올리느라 시간 쓰고 이게 맞는지 모르겠다.

전처리를 한 번에 하려고 코드를 짰는데 용량이 너무 커서 한 시간 넘게 돌려보다가 포기했다. 욕심 부리지 말고 나눠서 하자. 샘플 데이터로 코드를 돌리는 중인데 데이터가 240개인데 고유값은 222개가 나와서 약간 막막해졌다. 데이터 설명서에도 고유값이라고 했는데. 혹시 내가 모르는 사이에 고유값의 뜻이 바뀌었나.