본문 바로가기

프로그래밍105

파이썬 크롤링(웹스크래핑) 네이버 기사 크롤링해서 엑셀에 저장 지난 글에서 네이버 기사의 제목, url, 신문사 이름까지 웹스크래핑해보았다. ↓ 파이썬 크롤링(웹스크래핑) - 네이버 기사 제목 웹스크래핑 파이썬 크롤링(웹스크래핑) - 네이버 기사 url과 신문사이름, 썸네일 크롤링 이렇게 '주식' 키워드의 네이버 기사의 제목, url, 신문사이름까지 잘 나타났다. 이번에는 이렇게 웹 스크래핑한 기사의 제목, url, 신문사 이름을 엑셀 파일로 저장해보려고 한다. 1. openpyxl 패키지 설치하기 파이참 기준 file - settings - python interperter - + - openpyxl 검색 - install - okay 이 과정으로 패키지를 설치한다. 패키지 설치 방법은 아래 글에서 확인 ↓ 파이썬 패키지(라이브러리) 설치하는 방법 2. openp.. 2020. 10. 3.
파이썬 크롤링(웹스크래핑) - 네이버 기사 제목 웹스크래핑 지난 이미지 스크래핑에 이어 이번에는 기사 스크래핑을 배웠다. 이미지 웹스크래핑 ↓ 파이썬 크롤링(웹 스크래핑) - 이미지 스크래핑하기, dload, selenium, bs4 이번에는 '주식'이라는 키워드를 네이버 뉴스에 검색한 뒤 기사 제목, 링크, 신문사를 웹스크래핑하여 엑셀에 저장하는 것을 해보려한다. 더불어 정리한 파일을 메일로 보내는 것! 까지 해볼 것이다!! 일단 이번 글에서는 '기사 제목 웹 스크래핑' 을 해볼 것이다. 우선 필요한 패키지가 잘 설치되어 있는지 확인해보자. 1) bs4 2) selenium 3) openpyxl 4) smtplib : 파이썬 기본 내장 패키지이므로 따로 설치할 필요 없음. 1)과 2)는 이미지 웹 스크래핑을 할 때 설치했던 뷰티풀 숩과 셀레니움이고 3)은 엑셀.. 2020. 10. 2.
파이썬 크롤링(웹 스크래핑) - 이미지 스크래핑하기, dload, selenium, bs4 ※스파르타 코딩 파이썬 무료 강의 정리 이번 글은 파이썬으로 이미지 웹 스크래핑 하는 방법을 정리해보려한다! 웹 스크래핑이란 '웹 페이지에서 내가 원하는 부분의 데이터를 수집해오는 것'을 말한다. 웹 스크래핑은 크롤링이라고도 부른다. 웹 스크래핑을 하기 위해서는 특정 웹페이지를 구성하는 HTML 정보를 받아와야하는데 다양한 방법 중 파이썬으로 크롬 브라우저를 직접 제어하여 웹 페이지를 띄우고 HTML을 읽어오는 방식을 배웠기에 이 방식을 정리해보려한다. 웹 스크랩핑의 첫 단계는 패키지 설치이다. 보통 1개의 프로젝트를 만들 때에는 virtual environment(venv)라는 가상환경 폴더 안에서 작업을 한다. 이건 파이참을 이용할 때는 따로 설정 안해도 되고 venv라는 폴더 안에 라이브러리, 즉 .. 2020. 10. 1.
HTML class와 id 비교 1. class와 id란? HTML요소에 '이름'을 붙여주는 방법이다. HTML에 각 요소(element)를 만들어주고 이 요소들을 CSS로 꾸미게 되는데 CSS로 꾸밀 때는 정확히 무엇을 꾸미는지 콕! 찝어주어야한다. 그래서 각 요소에 class 또는 id를 할당해서 이름을 붙여준다. ​ ​ 2. class와 id의 근본적이 차이 ​ class 여러 요소는 같은 이름의 클래스를 가질 수 있다. 한 요소는 여러 클래스를 가질 수 있다. 그래서 같은 이름의 클래스를 가진 요소들에게 한꺼번에 CSS적용이 가능하며, 한 요소에 여러가지 CSS를 적용할 수도 있다. ​ id 여러 요소는 같은 이름의 id를 가질 수 없다. 한 요소는 한 가지 id만 가질 수 있다. ​ class와 다른점은 한 요소가 한 가지 i.. 2020. 9. 23.
자주 쓰이는 CSS 1. 배경 관련 background-color background-image background-size background-position border-raius 2. 사이즈 width height 3. 폰트 font-size font-weight font-family color 4. 간격 margin padding - margin은 요소 외부 여백(요소와 화면과의 여백)을, padding은 요소 내부의 여백을 의미한다. CSS Box Model - margin과 padding 완벽 이해 이 링크를 참고하여 margin과 padding을 살펴보면된다! CSS 연습하기 1) 선택자(selector) 연습 flukeout.github.io/ CSS Diner A fun game to help you lea.. 2020. 9. 23.
HTML 부모-자식 구조 , CSS 선택자 HTML 부모 자식 구조 1. 부모 자식 구조의 개념 HTML 요소는 어떤 요소 안에 어떤 요소가 있는가를 파악하는 것이 중요하다. 이런 구조를 부모-자식 구조 또는 트리(tree)구조 라고 한다. 상위에 하위 요소를 감싸고 있는 요소를 부모, 하위에 있는 요소를 자식 이라고 한다. 한 요소를 감싸고 있는 태그가 바뀌면, 그 안에 있는 내용물도 모두 영향을 받는다. ※ 그런데! 부모, 자식 관계는 상대적이어서 부모-자식-손자 이런것 처럼 자식이 다시 부모가 되고 손자가 다시 자식이 될 수 있다. 가족 관계랑 비슷한 느낌! 아래 예시를 살펴보자. 일단 가장 큰 body가 부모라고 보면 login이라는 클래스는 자식이다. 다시 login이라는 클래스를 부모라고 보면 login-title은 자식이 된다. lo.. 2020. 9. 23.
HTML 자주 쓰는 태그(Tag) 정리하기 1. 구역을 나누는 태그 1) div : 2) p : 3) ul 또는 ol 그리고 그 안의 li : 나는 영역을 나누죠. 속성을 주어야 눈에 보이는 모양이 달라져요. 나는 문단이에요. p태그는 위,아래로 여백을 자동으로 줍니다. 자동으로 줄 바꿈이 됩니다. ul은 순서가 없는 리스트를 뜻합니다. 순서를 표시하고 싶다면 ol를 씁니다. li는 리스트 아이템입니다. ul이나 ol모두 li가 들어가야합니다. 2. 구역 내 컨텐츠 1) h1 ~ h6 : 2) hr : h1은 제목을 나타내는 태그입니다. 페이지마다 하나씩 꼭 써주는 게 좋아요. 그래야 구글 검색이 잘 되거든요. h2는 소제목입니다. 숫자가 커지면 제목 크기가 작아집니다. h3은 h2보다 작습니다. h4은 h3보다 작습니다. h5은 h4보다 작습니.. 2020. 9. 22.
JavaScript 기초 : 실전 예제 3. 팰린드롬 3. 팰린드롬(palindrome) 팰린드롬이란 '토마토' '기러기' 처럼 거꾸로 읽어도 똑같은 단어를 말한다. 팰린드롬 여부를 확인할 수 있는 isPalindrome이라는 함수를 작성하는 것이 이번 실전 예제의 목표이다. 이 부분도 파이썬 기초 수업을 들었을 때 풀었던 예제이다. 매우 어렵게 풀었던 기억이 난다. 일단 문자열의 첫 번째 원소와 마지막 원소를 비교해서 일치 여부를 확인한다. 두 번째 요소와 n-1번째 원소를 비교해서 일치 여부를 확인한다. 인덱스로 더 구체화 시켜보자. word의 첫 인덱스 번호는 0이다. word의 끝 인덱스 번호는 word.lenth -1 이다. STEP1. word[0] 와 word[word.lenth -1]비교 word[1] 와 word[word.lenth -2]비.. 2020. 9. 17.
JavaScript 기초 : 실전 예제 2. 거스름돈 구하기! - Math.floor()와 함수 이용 2. 거스름돈 구하기 실전예제 1에서는 for문을 이용해 팩토리얼 값을 구해보았다. JavaScript 기초 : 실전 예제 1. 팩토리얼(factorial) - for 반복문 사용 이번에는 거스름돈을 구해주는 예제를 살펴보자. 이 예제는 파이썬을 공부할 때도 나왔던 예제이다. 일단 사람이 계산하는 것처럼 생각해봐야한다. 100,000원을 냈고 물건 값은 35,000이다. 이 경우 거스름돈은 어떻게 줄 수 있을까? 전체 거스름돈은 100,000 - 35,000 = 65,000원이다. 그 다음 가장 큰 지폐권인 5만원권을 몇 개 줘야하는지 확인해야한다. 65,000 / 50,000 = 1 ... 15,000 이다. 그럼 5만원 권은 1개 주면 된다. 이제 1만원권을 생각해보자. 15,000 / 10,000 .. 2020. 9. 17.
JavaScript 기초 : 실전 예제 1. 팩토리얼(factorial) - for 반복문 사용 1. 팩토리얼(factorial) 팩토리얼의 정의 1부터 어떤 양의 정수 n까지의 정수를 모두 곱한 것을 말한다. 표기법은 n! 자바스크립트 코드로 나타내보자! //팩토리얼 function factorial(n) { let result = 1; for (let i = 1; i = 1; i--) { result = result * i; } return result; } 이렇게 작성하면 기존의 결과와 동일하다! 최초 result 는 1, 최초 i는 n이다. result 값은 1 * n 이다. 이제 result는 1 * n 이고, i는 n-1이다. result 값은 1 * n * (n-1) 이다. 이제 result 는 1 * n * (n -1)이고, i는 n - 1 - 1이다. 이렇게 쭉 i가 1일때까지 계산.. 2020. 9. 17.

티스토리툴바