2.adj-analysis-발레.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "exercise_name = \"발레\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'균형잡힌 바른 체형을 위한 아름다운 움직임 세교 발레숲입니다.\\n교육문의_010.7539.2134\\n(수목원로 466번지 성민리치프라자 6층 세교발레숲)\\n#발레 #발레숲 #오산발레 #세교발레 #오산세교발레 #유아발레 #초등발레 #중고등부발레 #취미발레 #성인발레 #다이어트 #발레는선택아닌필수 #체형교정 #바른자세 #바른자태 #근력강화 #유연성강화 #세교발레숲 #ballet #발레숲이야기\\nPyeongchang\\n\\n#balletlife#Ballerina#ballet #balletworld #exklusive_shot\\n.\\n.\\n#photograph #picoftheday #photoshoot #color #photos #composition #photoaday #사진 #photogrid #컨셉 #photo #photoofday #picture #photographer #레드#photography #focus #발레리나 #발레\\n-\\n발레 메이트에게 선물 받은 워머부츠💕 #따뜻따뜻 \\n#성인발레 #취미발레 #발레일기 #발레기록 #발레소통 #소통 #발레 #레페토 #adultballet #balletdiary #instagram #dancer #balletdancer\\n얼마전 아침에 오빠가 서하 어제 머리 뽀송뽀송하게 잘 말리고 잤나보네 예쁘네 라고 한마디 했는데 그뒤로 엄마 나 머리 뽀송뽀송해? 오늘은 머리묶지말까 라고 자주 묻곤한다 그단어가 서하맘에 무척들었나 머리도 잘 안말리려고 하는데 그뒤론 잘 말리고선 뽀송뽀송한가? 라며 묻곤하는데 \\n참 예쁘더라😍 \\n서하가 클수록 더 예쁘고 고운말을 써야겠단 \\n생각이 든다는ㅋㅋㅋ .\\n.\\n.\\n.\\n#서하의일상 #어느덧 #5살 #우리집 #야무진똑똑이 #예쁜말고운말쓰기 #서하가좋아하는 #미술수업 #발레 #놀이터에서뛰어놀기 #레고 #열심히놀기 #😘\\n#김포세종무용학원 #삼고무 #특강수업 #무용학원 #타악 #세종무용학원 #김포무용학원 #김포발레학원 #김포현대무용학원 #김포무용입시 #김포입시전문학원  #입시무용 #초등무용 #유아무용 #한국무용 #발레 #현대'"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "file_name = \"#\" + exercise_name +\"_sum.txt\"\n",
    "file_1 = \"/Users/noopy/FitCuration/\" + file_name\n",
    "text = open(file_1, 'r',-1,\"UTF-8\",errors=\"ignore\").read()\n",
    "text[:1000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'균형잡힌 바른 체형을 위한 아름다운 움직임 세교 발레숲입니다교육문의수목원로 번지 성민리치프라자 층 세교발레숲발레 발레숲 오산발레 세교발레 오산세교발레 유아발레 초등발레 중고등부발레 취미발레 성인발레 다이어트 발레는선택아닌필수 체형교정 바른자세 바른자태 근력강화 유연성강화 세교발레숲  발레숲이야기         사진  컨셉     레드  발레리나 발레발레 메이트에게 선물 받은 워머부츠 따뜻따뜻 성인발레 취미발레 발레일기 발레기록 발레소통 소통 발레 레페토     얼마전 아침에 오빠가 서하 어제 머리 뽀송뽀송하게 잘 말리고 잤나보네 예쁘네 라고 한마디 했는데 그뒤로 엄마 나 머리 뽀송뽀송해 오늘은 머리묶지말까 라고 자주 묻곤한다 그단어가 서하맘에 무척들었나 머리도 잘 안말리려고 하는데 그뒤론 잘 말리고선 뽀송뽀송한가 라며 묻곤하는데 참 예쁘더라 서하가 클수록 더 예쁘고 고운말을 써야겠단 생각이 든다는ㅋㅋㅋ 서하의일상 어느덧 살 우리집 야무진똑똑이 예쁜말고운말쓰기 서하가좋아하는 미술수업 발레 놀이터에서뛰어놀기 레고 열심히놀기 김포세종무용학원 삼고무 특강수업 무용학원 타악 세종무용학원 김포무용학원 김포발레학원 김포현대무용학원 김포무용입시 김포입시전문학원  입시무용 초등무용 유아무용 한국무용 발레 현대무용 예중입시 예고입시 대학입시 고촌무용학원 선수동무용학원 풍무동무용학원 사우동무용학원 감정동무용학원 북변동무용학원 운양동무용학원 장기동무용학원 마산동무용학원 구래동무용학원답십리성천막국수메밀면에 시원한 동치미국물 물막국수평양냉면 좋아하시는 분들은 요기도 괜찮을 듯한 집무짠지에 양념 비벼 같이 먹으면 물론  개취 공장 미팅 끝나고 혼자 한사바리 막국수맛집현대시장답십리맛집맛집맛점인싸인친물국수발레발레스커트취미발레발레리나아다지오혼밥프로혼밥러균형잡힌 바른 체형을 위한 아름다운 움직임 세교 발레숲입니다교육문의  수목원로 번지 성민리치프라자 층 세교발레숲발레 발레숲 오산발레 세교발레 오산세교발레 유아발레 초등발레 중고등부발레 취미발레 성인발레 다이어트 발레는선택아닌필수 체형교정 바른자'"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# -*- coding: utf-8 -*-\n",
    "import re\n",
    "def preprocessing_hangul(text):\n",
    "    # 개행문자 제거\n",
    "    hangul = re.compile('[^ ㄱ-ㅣ가-힣]+')\n",
    "    result = hangul.sub('', text)\n",
    "    return result\n",
    "\n",
    "clean_text = preprocessing_hangul(text)\n",
    "clean_text[:1000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"\\n# 5. 명사 혹은 형용사인 품사만 선별해 리스트에 담기\\nnoun_and_adj_list = []\\nfor word, tag in morphed_list:\\n    if tag in ['Noun','Adjective']:\\n        noun_and_adj_list.append(word)\\n\\n        \\n        \\n# 6. 선별된 품사별 빈도수 계산 & 상위 빈도 10위 까지 출력\\ncounts = Counter(noun_and_adj_list)\\ncounts.most_common(100)\\n\\n# 5. 명사 혹은 형용사인 품사만 선별해 리스트에 담기\\n\\n\""
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"\n",
    "# 5. 명사 혹은 형용사인 품사만 선별해 리스트에 담기\n",
    "noun_and_adj_list = []\n",
    "for word, tag in morphed_list:\n",
    "    if tag in ['Noun','Adjective']:\n",
    "        noun_and_adj_list.append(word)\n",
    "\n",
    "        \n",
    "        \n",
    "# 6. 선별된 품사별 빈도수 계산 & 상위 빈도 10위 까지 출력\n",
    "counts = Counter(noun_and_adj_list)\n",
    "counts.most_common(100)\n",
    "\n",
    "# 5. 명사 혹은 형용사인 품사만 선별해 리스트에 담기\n",
    "\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('좋아요', 72),\n",
       " ('주세요', 67),\n",
       " ('감사합니다', 65),\n",
       " ('다양한', 58),\n",
       " ('보세요', 57),\n",
       " ('들', 43),\n",
       " ('빠른', 43),\n",
       " ('아름다운', 42),\n",
       " ('좋은', 41),\n",
       " ('많은', 39),\n",
       " ('예쁜', 39),\n",
       " ('해주세요', 37),\n",
       " ('되고', 30),\n",
       " ('되어', 29),\n",
       " ('참', 28),\n",
       " ('바른', 27),\n",
       " ('아름다', 27),\n",
       " ('하실', 26),\n",
       " ('했습니다', 25),\n",
       " ('아닌', 24)]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Reference: https://m.blog.naver.com/imsam77/221260229647\n",
    "# 1. 이전 포스트에서 크롤링한 댓글파일을 읽기전용으로 호출함\n",
    "# Trying to get adjectives\n",
    "# 3. 트윗터 패키지 안에 konlpy 모듈호출\n",
    "from konlpy.tag import Okt\n",
    "from collections import Counter\n",
    "\n",
    "twitter = Okt()\n",
    "\n",
    "\n",
    "\n",
    "# 4. 각 문장별로 형태소 구분하기\n",
    "morphed_list_okt = twitter.pos(clean_text)\n",
    "# morphed_list\n",
    "\n",
    "# 불용어\n",
    "stopwords_Twitter = [\"입니다\",\"있는\",\"있습니다\",\"같은\",\"안녕하세요\",\"고마워요\",\"있어요\",\"있게\"\\\n",
    "                     ,\"있도록\",\"부탁드립니다\",\"하는\",\"합니다\",\"할\",\"하세요\",\"하기\",\"해\",\"됩니다\",\"하여\",\"된\",\"잘\"]\n",
    "\n",
    "# 5. 형용사 품사만 뽑아내기\n",
    "adj_list_okt = []\n",
    "for word, tag in morphed_list_okt:\n",
    "    if tag in ['Adjective','Verb'] and word not in stopwords_Twitter:\n",
    "        adj_list_okt.append(word)\n",
    "\n",
    "# 6. 선별된 품사별 빈도수 계산 & 상위 빈도 20위 까지 출력\n",
    "adj_counts_okt = Counter(adj_list_okt)\n",
    "common_adj_okt = adj_counts_okt.most_common(20)\n",
    "common_adj_okt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('균형', 'NNG'),\n",
       " ('잡힌', 'VV+ETM'),\n",
       " ('바른', 'VA+ETM'),\n",
       " ('체형', 'NNG'),\n",
       " ('을', 'JKO'),\n",
       " ('위한', 'VV+ETM'),\n",
       " ('아름다운', 'VA+ETM'),\n",
       " ('움직임', 'NNG'),\n",
       " ('세교', 'NNG'),\n",
       " ('발레', 'NNG'),\n",
       " ('숲', 'NNG'),\n",
       " ('입니다', 'VCP+EF'),\n",
       " ('교육', 'NNG'),\n",
       " ('문', 'NNG'),\n",
       " ('의', 'JKG'),\n",
       " ('수목원', 'NNG'),\n",
       " ('로', 'JKB'),\n",
       " ('번지', 'NNG'),\n",
       " ('성민', 'NNP'),\n",
       " ('리치', 'NNP')]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Reference: https://m.blog.naver.com/imsam77/221260229647\n",
    "# 1. 이전 포스트에서 크롤링한 댓글파일을 읽기전용으로 호출함\n",
    "# Trying to get adjectives\n",
    "# 3. 트윗터 패키지 안에 konlpy 모듈호출\n",
    "from konlpy.tag import Mecab\n",
    "from collections import Counter\n",
    "\n",
    "mecab = Mecab()\n",
    "\n",
    "# 4. 각 문장별로 형태소 구분하기\n",
    "morphed_list_mecab = mecab.pos(clean_text)\n",
    "morphed_list_mecab[:20]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('주다', 270),\n",
       " ('보다', 218),\n",
       " ('좋다', 213),\n",
       " ('많다', 83),\n",
       " ('입다', 71),\n",
       " ('가다', 67),\n",
       " ('만들다', 52),\n",
       " ('먹다', 42),\n",
       " ('오다', 42),\n",
       " ('찍다', 37),\n",
       " ('보내다', 36),\n",
       " ('받다', 34),\n",
       " ('말다', 33),\n",
       " ('지다', 33),\n",
       " ('웨다', 31),\n",
       " ('씨다', 28),\n",
       " ('나다', 26),\n",
       " ('만드다', 26),\n",
       " ('예쁘다', 25),\n",
       " ('잡다', 24)]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 불용어\n",
    "stopwords_mecab = [\"있다\",\"하다\",\"이다\",\"되다\",\"않다\",\"없다\",\"같다\",\"싶다\",\"안\"]\n",
    "\n",
    "# 5. 형용사 품사만 뽑아내기\n",
    "adj_list_mecab = []\n",
    "for word, tag in morphed_list_mecab:\n",
    "    if tag in ['VV',\"VA\",\"VX\",\"VXV\",\"VXA\",\"VC\"]:\n",
    "        normal_form_yong_eon = word + \"다\"\n",
    "        if normal_form_yong_eon not in stopwords_mecab:\n",
    "            adj_list_mecab.append(normal_form_yong_eon)\n",
    "#     elif tag in [\"MA\",\"MAG\"]:\n",
    "#         adverb = word\n",
    "#         if adverb not in stopwords_mecab:\n",
    "#             adj_list_mecab.append(adverb)\n",
    "\n",
    "# 6. 선별된 품사별 빈도수 계산 & 상위 빈도 20위 까지 출력\n",
    "adj_counts_mecab = Counter(adj_list_mecab)\n",
    "common_adj_mecab = adj_counts_mecab.most_common(20)\n",
    "common_adj_mecab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.25.1\n",
      "1.17.2\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "from pandas.api.types import CategoricalDtype # 그래프의 값을 정렬해서 보기위해\n",
    "import numpy as np\n",
    "print(pd.__version__)\n",
    "print(np.__version__)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tuple"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(common_adj_okt[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>word</th>\n",
       "      <th>freq</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>72</td>\n",
       "      <td>좋아요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>67</td>\n",
       "      <td>주세요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>65</td>\n",
       "      <td>감사합니다</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>58</td>\n",
       "      <td>잘</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>58</td>\n",
       "      <td>다양한</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>95</td>\n",
       "      <td>9</td>\n",
       "      <td>미</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>96</td>\n",
       "      <td>9</td>\n",
       "      <td>될</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>97</td>\n",
       "      <td>9</td>\n",
       "      <td>입으실</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>98</td>\n",
       "      <td>9</td>\n",
       "      <td>드릴게요</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>99</td>\n",
       "      <td>9</td>\n",
       "      <td>마세요</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>100 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   word   freq\n",
       "0    72    좋아요\n",
       "1    67    주세요\n",
       "2    65  감사합니다\n",
       "3    58      잘\n",
       "4    58    다양한\n",
       "..  ...    ...\n",
       "95    9      미\n",
       "96    9      될\n",
       "97    9    입으실\n",
       "98    9   드릴게요\n",
       "99    9    마세요\n",
       "\n",
       "[100 rows x 2 columns]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(np.sort(np.array(common_adj_okt), axis=1), columns=['word','freq'])\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}