Hailey's TIL

1. API "Application Programming Interface" 의 약자로 소프트웨어가 다른 소프트웨어로부터 지정된 형식으로 요청, 명령을 받을 수 있는 수단이다. 예를 들어, 날씨와 관련된 서비스를 제공하는 웹 /앱 을 개발하려면, 실시간으로 날씨에 대한 정보가 필요하다. 아래와 같이 기상청에서 정해준 양식에 맞춰서, 내가 원하는 정보를 기상청 서버에 요청하면 원하는 데이터를얻을 수 있다! { "date" : 20240307, "place" : "seoul", "which" : "temperature" } 뿐만 아니라, 웹 개발을 할 때에 벡엔드 즉 서버에서 가진 데이터를 프론트 단에서 요청을 보내면 서버에서 해당 값을 반환해준다. 이렇게 데이터 폼에서 이러한 양식으로 데이터를 주고 받자...

머신러닝 모델링을 수행했으면 모델 성능을 평가해보자! 1. 회귀 성능 평가 1) MAE(Mean Absolute Error) # 모듈 불러오기 from sklearn.metrics import mean_absolute_error # 성능 평가 print('MAE:', mean_absolute_error(y_test, y_pred)) 2) MSE(Mean Squared Error) # 모듈 불러오기 from sklearn.metrics import mean_squared_error # 성능 평가 print('MSE:', mean_squared_error(y_test, y_pred)) 3) RMSE(Root Mean Squared Error) # 모듈 불러오기 from sklearn.metrics impor..

라이브러리와 데이터를 불러와 머신러닝 모델링을 진행해보자! # 라이브러리 불러오기 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings(action='ignore') %config InlineBackend.figure_format = 'retina' # 데이터 읽어오기 path = 'airquality_simple.csv' data = pd.read_csv(path) 1. 데이터 탐색 모델링할 대상인 데이터를 탐색해보자! # 상위 몇 개 행 확인 data.head() # 하위 몇 개 행 확인 data.tail() # 변수 ..

타이타닉 데이터를 이용하여 데이터 전처리를 해보도록 하자. 먼저 상위 데이터를 확인해 보면 아래와 같다. 이제 데이터 전처리를 해보자! 1. 불필요한 변수 제거하기 Cabin은 77.1%가 NaN이기에 채울 방법이 마땅치 않으니 제거 PassengerId, Name, Ticket은 Unique 한 값이므로 제거 axis=0는 행, axis=1은 열을 의미함을 기억하자. # 여러 열 동시 제거 drop_cols = ['Cabin', 'PassengerId', 'Name', 'Ticket'] titanic.drop(drop_cols, axis=1, inplace=True) 2. NAN 조치 NaN 값이 포함되어 있으면 정확한 분석와 예측을 할 수 없으니 이에 대한 처리가 필요하다. 1) 데이터에 NaN 값이..

Gmarket 실습! 베스트 상품 200개 데이터 수집 상품의 이미지 200개 다운로드 1. URL 찾기 import pandas as pd import requests from bs4 import BeautifulSoup url ='https://www.gmarket.co.kr/n/best' 2. request > response : str(html) response = requests.get(url) response 3. bs > DataFrame dom = BeautifulSoup(response.text, 'html.parser') # select 200 items elements = dom.select("#gBestWrap > div.best-list > ul > li") len(elements..

1. https://www.google.com에 접속할 때 생기는 과정 (웹 동작 방식) [요약] 사용자가 브라우저에 URL을 입력 DNS 서버에 도메인 네임으로 서버의 진짜 주소를 찾음 IP 주소로 웹 서버에 TCP 3- way handshake로 연결 수립 클라이언트는 웹 서버로 HTTP 요청 메시지를 보냄 웹 서버는 HTTP 응답 메시지를 보냄 도착한 HTTP 응답 메시지는 웹 페이지 데이터로 변환되고, 웹 브라우저에 의해 출력 1. URL 파싱과 HTTP Request Message 작성 사용자가 웹 브라우저에 URL을 입력하면, 브라우저는 그 URL을 파싱하고 그 정보를 바탕으로 HTTP Request Message를 생성. 1.1. HTTP Request Message 사용자가 웹 브라우저에 ..

1. Web Server & Client Architecture Client Request : Browser를 사용하여 Server에 데이터를 요청 Server Response : Client의 Browser에서 데이터를 요청하면 요청에 따라 데이터를 Client로 전송 HTTP Request Methods Get URL에 Query 포함 Query(데이터) 노출, 전송 가능 데이터 작음 Post Body에 Query 포함 • Query(데이터) 비노출, 전송 가능 데이터 많음 HTTP Status Code Client와 Server가 데이터를 주고받은 결과 정보 2xx - Success 3xx - Redirect 4xx - Request Error 5xx - Server Error Cookie, Ses..

1. Anova 범주 > 1.교차표(pd.crosstab) 범주 vs 범주 를 비교하고 분석하기 위해서는 먼저 교차표를 만들어야 함. pd.crosstab(행, 열) pd.crosstab(titanic['Survived'], titanic['Sex']) pd.crosstab(행, 열, normalize = ) pd.crosstab(titanic['Survived'], titanic['Sex'], normalize = 'columns') 2. 시각화 1) Mosaic mosaic plot mosaic(dataframe, [ feature, target]) mosaic(titanic, [ 'Pclass','Survived']) plt.axhline(1- titanic['Survived'].mean(), co..