오늘 8일째 공부하는데 어때?
하루 쉬었다고 벌써 나태해지는 듯한 느낌은 뭘까..? ㅋㅋㅋ 이런 못된 생각 잠시 넣어두고 오늘도 기분 좋게 Udemy와 함께 강의를 들어보자.. ㅎㅎ 만들어보고 싶은 프로그램 얼른 성공적으로 만들어보려면 지금보다 더 열심히 공부해야 될 걸? ㅎㅎ
오늘 공부할 내용은 섹션 1 내용인데 옛날에 우리가 교과서 가지고 공부하다 보면 단원 맨 앞에 '생각 열기' 정도의 간단하거나 흥미를 끌만한 내용을 다루잖아. 내가 지금 듣고 있는 따라 하며 익히는 파이썬 크롤링 마스터 수업도 섹션 1은 그런 정도의 느낌이야. 다만 앞으로의 크롤링을 할 때 항상 중요하게 생각해야 될 만한 주제를 몇 개 이야기하셨는데 오늘 공부하면서 다시 한번 상기시켜봐야겠어 ㅎㅎ 그럼 공부하러 go go~🙃🙃
오늘 정리한 내용은 뭐니?
오늘 공부한 파트는 섹션 1의 준비하기 파트였는데 전체 강의에서 이 부분은 크롤링에 대해 알아보는 느낌으로 진행되었어.
뭐 강의에선 크롤링의 개념적 접근, 동의어, 프로세스, 라이브러리 등등 다양한 개념들을 이야기하셨는데 무엇보다도 크롤링을 이미 공부하고 보니까 웹사이트의 구조를 파악하고 잘 설계해야겠다는 생각이 들어 처음에 프로세스 관련 이야기하실 때 특히 더 집중해서 듣게 되었어.
오늘 수업은 따로 코딩하는 부분이 없어서 내가 중요하다고 생각하는 개념들을 강사님이 강의하실 때 노트 필기하는 방식으로 공부했어. (글씨는 더럽지만.. ㅎㅎ사진은 아래 인스타 게시글 참고해주어~)
전체 학습 커리큘럼
오늘 공부했던 내용은 굵은 글씨로 표기해둘게!
1주차(20강) | 준비하기(2회독) | 강의 및 강사 소개 파이썬 설치하기 크롤링 방법 장단점 비교 설명 크롤링은 합법?불법?판례로 살펴본 크롤링 쥬피터 노트북 살펴보기 |
|
파이썬 익히기 |
컴퓨터와 소통하기
숫자 데이터 다루기
문자 데이터 다루기 여러 개의 데이터 다루기(리스트)
데이터 병합하기(리스트 합치기)
반복 작업하기(for 반복문)
조건에 따라 작업 진행하기(if 조건문)
문자 데이터 자유자재로 사용하기(f-string, 문자열 포매팅)
문자 데이터 내 맘대로 정리하기
|
||
크롤링 기초 |
Selenium & chromedriver 설치하기
브라우저 열기
웹 페이지 접속하기 &URL 살펴보기
얼렁뚱땅 HTML 살펴보기
HTML 에서 원하는 정보 가져오기( BeautifulSoup.select() )
|
||
2주차(27강) | Netflix 크롤링 |
넷플릭스 오리지널 페이지 살펴보기
섹션 파트 나누기
프로그램 파트 찾기1_섹션 제목 찾기
프로그램 파트 찾기2_프로그램
프로그램 정보 수집하기
모든 프로그램 정보 수집하기(with 반복문)
엑셀 파일에 저장하기
|
|
Instagram 크롤링 |
인스타그램 페이지 살펴보기
인스타그램 크롤링 계획 설계하기
로그인 하기
태그 검색하기
게시글 클릭하기
다음 게시글 클릭하기
[게시글 정보 수집] - 본문내용
[게시글 정보 수집] - 좋아요 수
[게시글 정보 수집] - 작성 일시
수집 데이터 엑셀 파일에 저장하기
|
||
Youtube 크롤링 |
유튜브 크롤링 소개
인기영상 리스트 수집하기1
인기영상 리스트 수집하기2
영상정보 수집하기1(제목, 조회수, 업로드 일자)
영상정보 수집하기2(좋아요, 싫어요, 채널명)
댓글수집하기1-총댓글수확인하기
댓글수집하기2-댓글가져오기
(코드정리)원하는 만큼 댓글 가져오기
|
오늘 정리하면서 느낀 점?
사실 오늘 공부한 섹션 1 내용이 비교적 간단한 이론 부분이라 정리할 게 그렇게 많지 않더라고. 하지만 강의를 시작할 때도 이야기하셨었고 실제로 강의를 들으면서도 체감되었던 중요한 개념들이 눈에 보였어. 내가 느꼈던 중요한 개념들에 대해 이야기해보자면 먼저 혼자 크롤링을 하게 되었을 때라면 더욱 어떻게 크롤링을 할 것인지 프로세스에 맞게 잘 계획을 세우고 처리해야 한다는 점을 꼭 기억해야해.. 내가 youtube 크롤링할 때 알면서도 습관적으로 부딪혀보려고 했는데 먼저 구조를 그리고 나서 접근하면 훨씬 수월하더라고 그래서 두번 세번 강조야 ! 그리고 크롤링을 할 때는 항상 내가 크롤링하는 정보가 가공되어졌을 때, 경쟁사에게 영향을 미치는 지와 어떤 데이터를 활용해서 만들었는 지에 대해 곰곰히 생각해보고 해야한다는 것을 느꼈어. 아무리 좋은 제품을 만들었다한들 그 데이터를 원활하게 공급해줄 수 없으면 말짱 도루묵이거든! 오늘은 이 정도로 빠르게 공부를 마쳤어 ㅎㅎ 내일 섹션 2 파이썬 복습도 열심히 하자~ 😋
Outro
좋은 기회를 제공해주셔서 감사합니다.
본 게시글은 UdemyKorea에서 제공한 프로모션에 참여하기 위해 작성한 게시글입니다.
인스타 주소 ⭐
https://www.instagram.com/f.inn_sharp/
#유데미#유데미코리아#스타트위드유데미#스터디윗미
'Life > review' 카테고리의 다른 글
[Start with Udemy Challengers] 10일차 학습 후기-자문자답 (0) | 2022.05.23 |
---|---|
[Start with Udemy Challengers] 9일차 학습 후기-자문자답 (0) | 2022.05.23 |
[Start with Udemy Challengers] 7일차 후기-1회독 완료 ! (0) | 2022.05.20 |
[Start with Udemy Challengers] 6일차 학습 후기-자문자답 (0) | 2022.05.17 |
[Start with Udemy Challengers] 5일차 학습 후기-자문자답 (0) | 2022.05.17 |