2021년 5월 10일

Study. Python

A.I 기반 나의 동물상 테스트

[인공지능 학습에 필요한 동물상 연예인 사진 데이터 수집하기 위한 파이썬 크롤링]

📌구름IDE를 이용한 인공지능 기반의 동물상 테스트 만들기

📎구름IDE : ide-run.goorm.io/

 

📌기본 설정 후 화면

📌실행과 출력 방법

📌google에서 Beautiful Soup검색 후 위키피디아로 들어가서 예제 따라하기

📌실행시키면 bs4의 이름을 가진 모듈이 없다~~이런 에러가 뜨는데 이것은 Beautiful Soup4 버전이 설치되어있지 않아서 생긴 문제

   - 해결법: Beautiful Soup4 설치/ 터미널 창에 'pip(패키지 관리자) install bs4'라고 치면 자동으로 설치 가능

📌Beautiful Soup: 크롤링용 라이브러리

 

📌pip install 패키지명: 파이썬에서 필요한 라이브러리를 다운해서 쓰고 싶을 때 사용하는 명령어(빠르고 효율적)

📌python 파일명: 파일을 실행하는 명령어

 

 

📌코드 설명

🔹1, 2번째 줄: 라이브러리를 불러오는 코드/ 이렇게 불러오면 하단 코드 어디든 다 사용 가능

🔹3번째 줄: 파이썬 with~as 구문 사용

🔹4번째 줄: BeautifulSoup를 soup안에 넣음

🔹5번째 줄: 파이썬 반복문(for 변수 in 배열)

🔹6번째 줄: 출력

 

📌css에서 어떤 요소를 꾸밀지 선택할 때 쓰는 선택자와 문법이 똑같음

 

📌크롤링된 것을 txt파일에 저장하는 법

🔹새파일을 열어서 for문을 돌면서 어떠한 파일에 write해주고 닫아주는 코드

# writedata.py
f = open("C:/doit/새파일.txt", 'w')
for i in range(1, 11):
    data = "%d번째 줄입니다.\n" % i
    f.write(data)
f.close()

🔹실행 코드

from bs4 import BeautifulSoup
from urllib.request import urlopen

response = urlopen('https://m.zum.com/#!/home')
soup = BeautifulSoup(response, 'html.parser')
i = 1
f = open("새파일.txt", 'w')
for anchor in soup.select("a.rank"):
    data = str(i) + "위 : " + anchor.get_text() + "\n"
    i = i + 1
    f.write(data)
f.close()

 

 

📎참고 영상: www.youtube.com/watch?v=ZTJjW7XuHIY&t=232s