웹크롤링2 [파이썬]#12 동적 크롤링 실습 // 구독한 네이버 뉴스 크롤링 오늘은 네이버 뉴스로 동적 크롤링 실습을 진행했다. 확실히 정적 크롤링보다 실행 속도가 느리고, 뭔가 더 복잡하다... HTML을 아예 모르면 좀 헷갈릴 것 같다. (다행히 나는 인터넷활용 수업으로 HTML과 JavaScript를 배웠음!) 근데 자꾸하다보면 그냥 비슷한 반복 작업이라는 것을 알 수 있긴 하다! 동적 크롤링은 처음해보는 거라, 내가 구독한 신문사를 바꿔가며 몇번이나 다시 해봤다. 코드는 같은데 매번 다른 결과가 나오는 것이 신기하기도?! 단점은 뭔가 오류가 있으면 거의 처음부터 다시 실행해야한다는거... 동적 크롤링은 url만으로는 들어갈 수 없는 페이지에서 데이터를 가져올 때 사용된다. (들어가지더라도 url의 변화가 없는데도, 실시간으로 내용이 계속해서 추가되거나 수정되는 경우) 동적.. 2023. 9. 1. #10 웹크롤링, Open API란? 다음 시간에 웹크롤링과 OpenAPI 사용 실습을 해볼 예정이다. 크롤링은 서울특별시 코로나 19 정보와 코로나 관련 네이버 뉴스에 대해, OpenAPI는 정부 공공데이터 포털과 서울 열린 데이터 광장에 대해 진행할 것이다. 우선 실습을 해보기 전에 무엇인지부터 배웠다. [Part 1] 웹크롤링 1. 웹이란? : World Wide Web(WWW)의 줄임말 참고로, 인터넷은 컴퓨터 네트워크 통신망을 의미하고, 웹은 그 인터넷상에서 동작하는 하나의 서비스이다. 1) 웹 브라우저 : 웹을 보기 편하게 해주는 소프트웨어 ex) 엣지, 크롬, 사파리 2) HTTP(Hypter Text Trasfer Protocol) : 클라이언트와 서버 사이에서 정보를 주고받기(문서 전송) 위한 규약 여기서 클라이언트란 브라우.. 2023. 8. 30. 이전 1 다음
