분류 전체보기

[seasonal_decompose] 시계열 데이터 분해

statsmodels.tsa.seasonal의 seasonal_decompose를 이용해서 추세, 계절성, 잔차를 파악할수 있다. statsmodels.tsa.seasonal. season_decompose ( x , model = 'additive' , filt = None , period = None , two_sided = True , extrapolate_trend = 0 ) x : 시계열 데이터 model : additive, multiplicative 두가지 계절성분 유형 filt : 계절 성분을 필터링하기 위한 필터 계수 period : 기간. 시계열 데이터가 pandas 객체가 아니거나 x의 인덱스에 빈도가 없는 경우 사용 two_sided : 필터링에 사용되는 이동 평균 방법으로 True..

[chunksize]대용량 데이터 읽어오기

python에서 pandas의 read_csv로 대용량 데이터를 읽어 왔을때, 고사양의 컴퓨터가 필요로 하거나 colab같은경우 연결이 끊어지기도 한다. 이럴경우 chunksize를 이용해서 일부분씩 데이터를 읽어올수 있다. import pandas as pd train_data_file = '/train_data.csv' train_data = pd.DataFrame() chunksize = 10 ** 3 for cnt, chunk in enumerate(pd.read_csv(train_data_file, chunksize=chunksize)): train_data = pd.concat([train_data,chunk]) chunksize = 10 ** 3 은 1000을 표현하며, python 내장함수..