SMALL 🖊️Data Analysis14 [Python] 다양한 이미지 데이터 분석 Study. 다양한 이미지 데이터 분석 [코드 분석과 흐름] 1. 사전 설정 tensorflow와 numpy, matplotlib 라이브러리를 import 한다. 2. 데이터 탐색 이미지 분류에 사용될 리소스를 불러온다. (cifar10 - cifar_mnist) 불러온 데이터들의 형태를 확인한다. 클래스 이름을 나눈다. 이미지 사이즈를 맞춰준다. subplot을 이용해서 타일 형식으로 이미지를 나열한다. xticks(), yticks를 이용하여 이미지 사이에 간격을 구분해준다. grid 형식으로 나열한다. imshow() : 원하는 사이즈의 픽셀을 원하는 색으로 채운다. 훈련용 데이터와 테스트용 데이터를 전처리한다. 3. 모델 구성 CNN 모델을 구성한다. 파라미터와 층이 많기 때문에 학습 시간이 많이.. 2021. 7. 13. [Python] 개와 고양이 이미지 분석 Study. 개와 고양이 이미지 분석 [스스로 정리한 코드 분석과 흐름] 5. CNN CNN : Convolutional Neural Network 이미지를 CNN이 어떻게 구분하냐면 여러 가지 필터들이 돌아다니면서 feature extraction 해서 이미지를 추출함 2차원의 이미지를 1차원으로 바꿔주는 작업도 해야한다. feature extraction이 끝나면 classification 작업을 한다. 여러 개를 분리할 때는 softmax 함수를 사용하여 산출물을 낸다. 6. Tensorflow 사용하여 model층 쌓기 model.add(Conv2d(128,(3,3), activation='relu', input_shape=(300,300,3))) ⇒ 첫 번째 층은 Conv2d라고 하는 층으로 필.. 2021. 7. 12. [Python] 개와 고양이 이미지 분석 Study. 개와 고양이 이미지 분석 [스스로 정리한 코드 분석과 흐름] 1. 파일 불러오기 및 디렉토리 정렬 zip 파일 압축 풀기 train, test 파일을 불러온다. matplotlib을 이용하여 이미지를 불러온다. train 파일 불러온 것을 그대로 쓸 수가 없기 때문에 사전에 전처리를 해야 한다. 파일 이름만 나와있기 때문에 디렉토리의 경로를 추가해주어서 path를 정렬한다. train['label'] = train['path'].apply(lambda x:x.split('/')[-1].split('.')[0]) ⇒ (path 옆에 개인지 고양이 인지 라벨링 해주는 작업) /를 기준으로 나눠서 -1(맨 오른쪽)에서 다시 . 을 기준으로 파일이 분리되는데 그중에서 0(첫 번째 자리) 값을 넣어서.. 2021. 7. 12. [Python] 타이타닉 생존자 데이터 분석 Study. 타이타닉 생존자 데이터 분석 [스스로 정리한 데이터 분석 흐름] 3. feature engineering [1] Null data 채우기 Age에 있는 null data를 title+statistics를 사용하기 Fill Null in Age using title 영어에서는 성별도 나누어지지만 기혼, 미혼 등등의 title로 나누어진다. 그리하여 이름 앞에 꼭 이런 title이 들어가는데 이것을 사용해보겠다. pandas series의 str method와 extract method를 이용하여 title을 쉽게 추출했다. 남자와 여자가 사용하는 Initial 이 정해져 있기 때문에 구분해준다. Initial과 생존자의 관계를 구했을 때 여성과 관계있는 게 생존율이 더 높다. 나이의 평균을 구.. 2021. 7. 12. [Python] 타이타닉 생존자 데이터 분석 Study. 타이타닉 생존자 데이터 분석 [스스로 정리한 데이터 분석 흐름] 본 게시물은 이미 짜여진 코드를 필사하면서 코드의 흐름을 익히기 위해 학습한 내용이 담겨있음을 미리 알려드린다. 1. 필요한 라이브러리 import import numpy as np #행렬이나 대규모 다차원 배열을 쉽게 처리할 수 있도록 지원하는 라이브러리 import pandas as pd import matplotlib.pyplot as plt #pyplot 모듈의 함수를 이용하여 그래프를 그릴 수 있도록 지원하는 라이브러리 import seaborn as sns plt.style.use('seaborn') sns.set(font_scale=2.5) # 이 두줄은 본 필자가 항상 쓰는 방법입니다. matplotlib의 기본 .. 2021. 7. 12. [Python] 런던 자전거 수요 데이터 분석 Study. 런던 자전거 수요 데이터(w. kaggle, Python) [분석에 앞서, 데이터 전처리하기] 📌 캐글을 이용하여 '런던 자전거 수요 데이터'분석 📎사용한 데이터셋: https://www.kaggle.com/hmavrodiev/london-bike-sharing-dataset 아웃라이어를 제거하고 카테고리형 변수로 바꿔주고 훈련용이랑 테스트 데이터를 분리하는 마지막 전처리 작업 📌[1]아웃라이어 이상치 제거 1) 함수 생성(시그마 이상치 제거 방법 사용) #아웃라이어 제거 def is_outliers(s): lower_limit = s.mean() - (s.std()*3) upper_limit = s.mean() + (s.std()*3) return ~s.between(lower_limit,.. 2021. 6. 26. 이전 1 2 3 다음
