분류 전체보기

[chunksize]대용량 데이터 읽어오기

python에서 pandas의 read_csv로 대용량 데이터를 읽어 왔을때, 고사양의 컴퓨터가 필요로 하거나 colab같은경우 연결이 끊어지기도 한다. 이럴경우 chunksize를 이용해서 일부분씩 데이터를 읽어올수 있다. import pandas as pd train_data_file = '/train_data.csv' train_data = pd.DataFrame() chunksize = 10 ** 3 for cnt, chunk in enumerate(pd.read_csv(train_data_file, chunksize=chunksize)): train_data = pd.concat([train_data,chunk]) chunksize = 10 ** 3 은 1000을 표현하며, python 내장함수..