J.H의 Data Analyst 되기

데이터를 쉽게 접근할 수 있도록 csv로 저장해서 사용한다. 하지만 csv는 메타데이터를 저장할 수 없어 칼럼 별로 dtype을 다시 지정해줘야 하는 일이 생기며, 읽고 쓸 때 시간이 많이 걸린다는 단점이 있다. 이를 보완하기 위해 pickel, parquet, hdf5 와 같은 다양한 데이터 포맷을 사용하는데 그중 parquet에 대해서 알아보고자 한다. 1. pandas 에서 간단한 parquet 사용하기 # !pip install fastparquet # save import pandas as pd df = pd.DataFrame() df.to_parquet('sample.parquet', compression='gzip') # read df = pd.read_parquet('sample.parqu..

1. joblib 이용 joblib 라이브러리를 이용하는 방법이다. # model save import joblib joblib.dump(model, 'model_220531.pkl') 해당 파일을 읽어 올 땐 model= joblib.load("model_220531.pkl") 2. Pickle 라이브러리 이용방법 import pickle with open('model_220531.pickle', 'rb') as f: model=pickle.load(f) import pickle with open('model_220531.pickle', 'wb') as fw:

1. cmd를 관리자 권한으로 실행 2. 가상환경을 만들고 싶은 곳으로 이동 후 virtualenv ("폴더 명") 입력 ->엔터 3. cd ("폴더 명")->엔터 4. Scripts\activate-> 엔터 5. code-> 엔터

yfinances는 파이썬을 통해 주식의 데이터를 가져올 수 있는 모듈이다. import yfinance as yf import pandas as pd import matplotlib.pyplot as plt In [30]: data=yf.download(['AAPL',"TSLA","CPNG"],start='2019-01-01') #뒤에 인자값들을 시작값으로함. 스타트는 1월1일인데 전날도 포함된 [*********************100%***********************] 3 of 3 completed In [21]: data['Close']["AAPL"] Out[21]: Date 2018-12-31 39.435001 2019-01-02 39.480000 2019-01-03 35.54750..

import numpy as np import matplotlib.pyplot as plt import pandas as pd In [18]: x = np.array([10,20,30,40,50,60,70,80,90]) x Out[18]: array([10, 20, 30, 40, 50, 60, 70, 80, 90]) In [19]: x_ = np.array(x[0:9:3]) x_ Out[19]: array([10, 40, 70]) In [23]: np.linspace(0,10,5) # 5등분을 해준다. 실수형태의 시작과 끝값을 정해서 나눠준다. plt.plot(x) plt.show() In [25]: x_= np.logspace(2,10,50) # 로그 쪼개주는 함수 plt.plot(x_) plt.sho..

클래스 여기에서 설명할 클래스는 틀과 비슷하다. 클래스(class)란 똑같은 무엇인가를 계속해서 만들어 낼 수 있는 설계 도면이고(틀), 객체(object)란 클래스로 만든 피조물이다. 속성 : 클래스가 가지는 변수 매서드 : 클래스가 가지는 동작 파이썬에서 클래스를 선언하는 방식은 class 클래스이름: Class라는 키워드와 클래스의 이름을 나열하여 선언한다. 파이썬에서 클래스의 이름은 일반적으로 대문자로 표시 같은 클래스에서 생성된 객체들은 서로 독립적이나 서로의 정보를 공유하기 이해서는 클래스 변수를 사용한다. # 클래스 생성 class Class_1(): def func_1(self): # 자기 자신을 부르는 것 print("Hello world") a = Class_1() a.func_1() ..

판매 기록 데이터를 통해 파이썬의 pandas, group 함수와 datetime 함수 그리고 numpy를 통해 학습을 진행하였다. import pandas as pd import numpy as np import matplotlib.pyplot as plt In [2]: sales_df=pd.read_csv("./csv/Sales Records.csv") In [110]: sales_df sales_df.isna().sum() Out[110]: Region 0 Country 0 Item Type 0 Sales Channel 0 Order Priority 0 Order Date 0 Order ID 0 Ship Date 0 Units Sold 0 Unit Price 0 Unit Cost 0 Total Re..

api 키를 부여 받아 2월 28일 기준 누적된 코로나 데이터를 불러와서 파이썬을 통해 분석해 보았다. import pandas as pd import numpy as np import matplotlib.pyplot as plt In [59]: corona_df=pd.read_csv('./corona.csv') corona_df Out[59]: Unnamed: 0createDtdeathCntdecideCntseqstateDtstateTimeupdateDtaccExamCntaccDefRate01234...715716717718719 0 2022-02-28 08:56:05.34 8058 3134456 803 20220228 00:00 NaN NaN NaN 1 2022-02-27 08:54:59.059 79..

input_one= "Hello World" input_one=1234 print(input_one) In [4]: # 튜플 소괄호로 묶는다. # 가장 기본적인 리스트의 형태 # 데이터의 수정이 불가 tuple_num=(1,2,3,4,5) print(tuple_num) print(tuple_num[2]) (1, 2, 3, 4, 5) 3 In [6]: tuple_num_2=((1,2,3), (4,5,6)) print(tuple_num_2) # 5라는 숫자만 출력 print(tuple_num_2[1][1]) print(tuple_num_2[1]) # 4, 5, 6 출력 ((1, 2, 3), (4, 5, 6)) 5 In [7]: # 리스트는 대괄호로 묶어 준다. # 리스트와 튜플의 차이는-> 데이터의 수정이 ..