오늘 처음 공부하는데 어때?
사실 신청할 때도 반신반의였던지라 바로 공부하려다 보니 조금 얼떨떨하긴 하더라고...ㅋㅋ
그래도 14일 동안 시간 허비하지 않으려면 각 잡고 제대로 공부해야 되겠다 싶었어. 그래서 저번 게시글에서 세웠던 계획보다 좀 더 디테일하게 짜 봤지. 1주일에 3 섹션 나가는 건.. 솔직히 너무 간단하다고 생각이 들더라고. 그래서 나는 강의를 일주일 안에 한 번 돌리고 다음 주에 또 한 번 돌려보기로 계획을 세웠어. 그렇게 하면 14일 동안 알차게 공부를 할 수 있을 것 같더라! 일단은 오늘 강의 처음이니까 크롤링에 대한 설렘 반, 앞으로 공부에 대한 걱정으로 시작해볼게 ㅎㅎ ㅎㅎ
오늘 공부한 내용은 뭐니?
오늘 공부한 파트는 섹션 1 : 준비하기 파트에 대해서 공부했어.
섹션 1의 1 ~ 2강은 강사님 프로필에 대한 소개랑 실습을 위해 개발환경 구축하는 시간이었는데,
사실 나는 이 강의에서 사용하는 IDE, Jupyter Notebook을 전에 공부하면서 써봐서 개발 환경은 이미 다 구축되어있는 상태였어. 그래도 Jupyter Notebook부터 막막했던 과거 내 입장에서 보면, 강의에서 안내해준 대로 따라 하면 쉽게 구축할 수 있을 것 같아!
섹션 1의 3강은 기본적인 크롤링 프로세스와 사용하는 라이브러리에 대해서 설명해주셨는데,
사실 전에 크롤링 관련 비교과 프로그램을 들어본 적이 있어서 설명해주셨던 라이브러리 이름 정도는 알고 있었는데 어떤 게 차이가 있는지 이번 강의에서 첨 알았어. 추가적으로 강사님이 어떤 상황에서 어떤 라이브러리를 선택해야 할지 보여준 순서도가 있었는데, 그림을 참고하니까 아주 이해가 잘되더라고!
섹션 1의 4강은 크롤링이 아무래도 정보를 수집하는 것과 관련되어 있어서 그런지 해당 정보의 출처나 이용목적에 따라서 제한을 받을 수가 있겠지? 그런 부분들에 대한 판례를 살펴보면서 강사님과 함께 생각을 나눠볼 수 있는 시간이었어.
색션 1의 5강은 2강에서 개발환경 구축하면서 설치해둔 주피터 노트북을 실행해서 해당 IDE의 인터페이스에 대해서 공부하고 몇 가지 기본 동작을 수행하기 위한 조작 방법에 대해서 배웠어. 전에 써보긴 했는데 이번 5강이 나한테 도움이 많이 되더라고. 새로운 기능 몇 가지 배웠어!
전체 학습 커리큘럼
오늘 공부했던 부분은 굵은 파랑 글씨로 표기해둘게!
| 1주차(20강) | 준비하기 | 강의 및 강사 소개 파이썬 설치하기 크롤링 방법 장단점 비교 설명 크롤링은 합법?불법?판례로 살펴본 크롤링 쥬피터 노트북 살펴보기 |
|
| 파이썬 익히기 |
컴퓨터와 소통하기
숫자 데이터 다루기
문자 데이터 다루기 여러 개의 데이터 다루기(리스트)
데이터 병합하기(리스트 합치기)
반복 작업하기(for 반복문)
조건에 따라 작업 진행하기(if 조건문)
문자 데이터 자유자재로 사용하기(f-string, 문자열 포매팅)
문자 데이터 내 맘대로 정리하기
|
||
| 크롤링 기초 |
Selenium & chromedriver 설치하기
브라우저 열기
웹 페이지 접속하기 &URL 살펴보기
얼렁뚱땅 HTML 살펴보기
HTML 에서 원하는 정보 가져오기( BeautifulSoup.select() )
|
||
| 2주차(27강) | Netflix 크롤링 |
넷플릭스 오리지널 페이지 살펴보기
섹션 파트 나누기
프로그램 파트 찾기1_섹션 제목 찾기
프로그램 파트 찾기2_프로그램
프로그램 정보 수집하기
모든 프로그램 정보 수집하기(with 반복문)
엑셀 파일에 저장하기
|
|
| Instagram 크롤링 |
인스타그램 페이지 살펴보기
인스타그램 크롤링 계획 설계하기
로그인 하기
태그 검색하기
게시글 클릭하기
다음 게시글 클릭하기
[게시글 정보 수집] - 본문내용
[게시글 정보 수집] - 좋아요 수
[게시글 정보 수집] - 작성 일시
수집 데이터 엑셀 파일에 저장하기
|
||
| Youtube 크롤링 |
유튜브 크롤링 소개
인기영상 리스트 수집하기1
인기영상 리스트 수집하기2
영상정보 수집하기1(제목, 조회수, 업로드 일자)
영상정보 수집하기2(좋아요, 싫어요, 채널명)
댓글수집하기1-총댓글수확인하기
댓글수집하기2-댓글가져오기
(코드정리)원하는 만큼 댓글 가져오기
|
||
이번에 공부하면서 알게 된 점은?
이번에 공부하면서 알게 된 점은 크게 세가 지야.
1. 크롤링 프로세스랑 라이브러리
자세한 정보는 강의를 실제 들어야 정확하게 전달되겠지만 크롤링의 기본 프로세스와 라이브러리 간의 관계에 대해서 알게 되었어.
2. 크롤링 사용할 때 주의할 점
크롤링할 때, 데이터가 어디에서 얻은 건지(경쟁업체는 아닌지), 어떤 목적으로 만들어진 건지(공공데이터인지) 꼭 확인하자!
3. Jupyter Notebook 인터페이스 조작 방법
강의에서 Jupyter Notebook에 노트 생성해서 사용법에 관련돼서 쭉 한번 정리해줬는데 몇 번 따라 하니깐 진짜 많이 도움되었어, 나중에 다른 프로젝트 할 때도 정말 도움 많이 될 것 같더라고!
오늘 하루 했던 공부를 평가해보자면?
가장 먼저 든 생각은 생각보다.. 강의가 너무 빨리 끝나겠는데..? ㅋㅋㅋㅋ
그래도 여러 번 반복해서 내 걸로 만들면 너무 유익하겠다는 생각이 들었고 크롤링에 대해서 기초적인 부분을 살펴볼 수 있어서 좋았던 것 같아. 내일은 Python 기본 관련 공부할 것 같은데 전에 공부했었지만 ㅋㅋ (저번에 시험 본 Python 기본 문제 많이 틀렸더라)
다시 정신 차리고 한번 잘 공부해보자 ㅋㅋㅋ 오늘은 정말 나름 좋은 출발이라 평가할게 ㅎㅎ
Outro
좋은 기회를 제공해주셔서 감사합니다.
본 게시글은 UdemyKorea에서 제공한 프로모션에 참여하기 위해 작성한 게시글입니다.
인스타 주소 ⭐
https://www.instagram.com/f.inn_sharp/
#유데미#유데미코리아#스타트위드유데미#스터디윗미
'Life > review' 카테고리의 다른 글
| [Start with Udemy Challengers] 5일차 학습 후기-자문자답 (0) | 2022.05.17 |
|---|---|
| [Start with Udemy Challengers] 4일차 학습 후기-자문자답 (0) | 2022.05.16 |
| [Start with Udemy Challengers] 3일차 학습 후기-자문자답 (0) | 2022.05.14 |
| [Start with Udemy Challengers] 2일차 학습 후기-자문자답 (0) | 2022.05.14 |
| [UdemyKorea]스타트 위드 유데미 👉 ★챌린저 선정★ (0) | 2022.05.11 |
