현재 상황

/link POST 요청을 보내면

링크 제목, description, image를 받아와서 image를 4개로 나눠서 저장하고 search index를 만드는 과정까지 모두 진행 후 response return 하므로 시간이 오래 걸림 (약 7.5s ~ 15s)

1. 코드 이해
2. 필요한 부분만 남기고 나머지는 삭제 or 비동기 처리

모르겠는 부분

• POST /link 전에 link 관련 정보를 수집하는건 어디서 하는거지?
• LinkPreviewer.create_session에서 쓰이는 → 문법이 뭐지?
• local에서 link save할 수 없나?

Web Driver와 Selenium, Beautiful soup의 개념 이해

Selenium은 웹 어플리케이션을 위한 테스팅 프레임워크임

Beautiful soup는 웹 사이트에서 버튼을 클릭해야 얻을 수 있는 데이터나, javascript에 조건이 충족되어야만 얻을 수 있는 데이터에 접근하는 것에 한계가 있음

따라서 직접적으로 웹사이트에 접근할 수 있는 Selenium을 사용해야 함

Web driver는 새로운 환경에서 웹 브라우저를 대신해주는 것으로, selenium이 사용하는 웹 브라우저임

파이썬 크롤링 튜토리얼 - 3 : Selenium 사용법과 이해 | 개발새발 블로그

이해한 바로는

Selenium : 페이지의 XML, HTML 등의 문서를 자동으로 긁어오는 역할

Web drvier: selenium이 활용하는 웹 브라우저