3주차 웹개발 개발일지

3주차는 파이썬을 기본문법과 크롤링(스크래핑) 그리고 mongoDB를 이용한 데이터베이스를 배웠다. 

아나콘다를 사용해서 가상환경 설정하는 방법이 조금 다르긴 하지만 기본적으로 가상환경을 이용해서 각 프로그램 마다 파이썬 버전이나 패키지를 관리한다는 개념만 알고가면 좋을것 같다. 다음으로 mongoDB는 SQL과는 조금다른 개념인 NoSQL 방식인데 각각 필요에 의해서 선택해서 사용하면 될것같다. 일단 이것저것 따져서 선택할만한 실력은 아니라 시키는 대로 차근차근 배워가는중이다.

 

이번주 숙제는 지니뮤직 순위와 노래제목, 가수를 크롤링 하는것이었고 다행히 어렵지 않게 코드를 작성할 수 있었다.

코드를 작성하는데 필요한 기본코드를 메모한다.

 

requests, bs4

import requests
from bs4 import BeautifulSoup

#크롤링을 방지하는 사이트를 대비해서 브라우저로 검색하는 방식으로 headers를 사용
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get('주소',headers=headers)

#bs4로 파싱해서 가져오기
soup = BeautifulSoup(data.text, 'html.parser')

 

pymongo

from pymongo import MongoClient
#로컬로스트 사용
client = MongoClient('localhost', 27017)
db = client.DB이름

# 저장 - 예시
#입력내용 딕셔너리로 (키:값)
doc = {'name':'bobby','age':21}
db.콜렉션.insert_one(doc)

# 한 개 찾기 - 예시
user = db.콜렉션.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
same_ages = list(db.콜렉션.find({조건'age':21},{'_id':False}))
조건 {} 공란 = 다 찾음

# 바꾸기 - 예시
db.콜렉션.update_one({조건'name':'bobby'},{'$set':{'age':19}})
#주의 update_many 조건전체바꿈

# 지우기 - 예시
db.콜렉션.delete_one({조건'name':'bobby'})
#주의 delete_many (조건 전체)