01. requests  와 beautifulesoup 을 사용하여 naver new 가져오기.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1. request 라이브러리 이용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "res = requests.get('http://news.naver.com/main/home.nhn')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "200"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "res.status_code"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "content = res.text"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![content 결과](./images/5.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![네이버 뉴스 사이트](./images/1.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 2. BeautifulSoup을 이용하여 파싱하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 객체 생성\n",
    "soup = BeautifulSoup(content, 'html.parser')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![soup 결과](./images/6.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "###  가져올 화면 "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![범여권 가져오기](./images/2.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 범여권 안정적인 과반 의석 확보   부분 가져 오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "list"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(soup.select('a[href*=sectionList.nhn]'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "상식in뉴스 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=110&gid=1076074\n",
      "文風 끌고 北風 밀고…민심은 '평화의 길'에 힘을 실었다 http://news.naver.com/main/hotissue/sectionList.nhn?sid1=100&gid=1080906&mid=hot&viewType=pc&cid=1080881&nh=20180614115731\n",
      "강경화 \"한미훈련, 동맹차원 문제…군당국, 협의결정할 것\" http://news.naver.com/main/hotissue/sectionList.nhn?sid1=100&gid=1080389&mid=hot&viewType=pc&cid=1080390&nh=20180614114734#1080872\n",
      "미 기준금리 인상+올해 2번 더…한은 7월 금통위 고민 http://news.naver.com/main/hotissue/sectionList.nhn?sid1=101&mid=hot&viewType=pc&cid=996387&nh=20180614104440\n",
      "文대통령 \"북미회담, 전쟁위협 벗어난 것만으로도 엄청난 가치\" http://news.naver.com/main/hotissue/sectionList.nhn?sid1=100&gid=1080389&mid=hot&viewType=pc&cid=1080390&nh=20180614115421#1080456\n",
      "南김도균 \"가을수확 기대\"…北안익산 \"만리마속도로 가자\" http://news.naver.com/main/hotissue/sectionList.nhn?sid1=100&gid=1079155&mid=hot&viewType=pc&cid=1079165&nh=20180614120853\n",
      "日언론 \"김정은, 북일회담에 긍정적…아베 '8월 평양방문' 검토\" http://news.naver.com/main/hotissue/sectionList.nhn?sid1=100&gid=1080389&mid=hot&viewType=pc&cid=1080390&nh=20180614115125#1080747\n",
      "지구촌 화제 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=104&cid=845614\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&gid=1080906\n",
      "6.13 지방선거 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&gid=1080906\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mode=hot&sid1=100&gid=1080389\n",
      "6.12 북미정상회담 http://news.naver.com/main/hotissue/sectionList.nhn?mode=hot&sid1=100&gid=1080389\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=101&cid=957181\n",
      "부동산 시장 리포트 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=101&cid=957181\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&cid=1079165&gid=1079155\n",
      "남북관계와 한반도 정세 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&cid=1079165&gid=1079155\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&gid=1051906&cid=1060622\n",
      "'박근혜·최순실' 국정농단 재판 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&gid=1051906&cid=1060622\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&gid=1075875&cid=1070398\n",
      "MB 다스 의혹 등 검찰 수사 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&gid=1075875&cid=1070398\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=102&gid=1012477&cid=984650\n",
      "세월호 인양 그 후 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=102&gid=1012477&cid=984650\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mode=hot&sid1=102&cid=1077043\n",
      "각계 #미투 확산 http://news.naver.com/main/hotissue/sectionList.nhn?mode=hot&sid1=102&cid=1077043\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=103&cid=1075678\n",
      "커지는 미세먼지 위협 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=103&cid=1075678\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=104&gid=1035341\n",
      "美 '트럼프 시대' http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=104&gid=1035341\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=101&cid=996387\n",
      "글로벌 경제 리포트 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=101&cid=996387\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=101&cid=1074429&dummy=1712211554\n",
      "가상화폐 둘러싼 논란 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=101&cid=1074429&dummy=1712211554\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=104&cid=334823\n",
      "세계와 생각 나누기 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=104&cid=334823\n",
      " http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=110&cid=1064672&dummy=1712081723\n",
      "김인수 기자의 사람이니까 경영이다 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=110&cid=1064672&dummy=1712081723\n",
      "불공정 선거 보도 기사 모음 http://news.naver.com/main/hotissue/sectionList.nhn?mid=hot&sid1=100&cid=909906&decorator=ombudsman&confirm=true\n"
     ]
    }
   ],
   "source": [
    "for aTag in soup.select('a[href*=sectionList.nhn]'):\n",
    "    link = aTag['href'] # link 가져오기\n",
    "    text = aTag.text.strip() # 공백 지우기   그리고 text 가져 오기\n",
    "    print(text, link)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}