0503-aihub-data-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "lwk5R0IiyUOe"
   },
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0503-aihub-data-input.ipynb)\n",
    "\n",
    "<img src=\"https://aihub.or.kr/web-nas/aihub21/files/editor/2022/06/13dabc7c0e4042e5a7d6c23c3f7422ef.png\">\n",
    "\n",
    "* https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=582"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "d7YrPB-CY3GD"
   },
   "outputs": [],
   "source": [
    "# glob, pandas, tqdm\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "qtwC2ABR7c-6"
   },
   "outputs": [],
   "source": [
    "# 샘플 데이터를 업로드한 위치 지정\n",
    "# 샘플 데이터는 AI 허브의 '요약문 및 레포트 생성 데이터'의 샘플 1,000건만 사용 (회원 가입 후 다운로드 가능)\n",
    "# 출처: https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=582\n",
    "DATA_PATH = 'AIHUB'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "wZYppsm1vfag"
   },
   "outputs": [],
   "source": [
    "# 파일 업로드 후 압축해제\n",
    "!unzip sample.zip -d {DATA_PATH}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "vnT1IsaI7hbj"
   },
   "outputs": [],
   "source": [
    "# 실제로 해당 위치에 데이터가 잘 있는지 확인\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "tKRm8HMH9gsx"
   },
   "source": [
    "## 파일 목록 가져오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "5bMvI3iRYps_"
   },
   "outputs": [],
   "source": [
    "# 다음 패턴의 파일 가져오기 f\"{DATA_PATH}/*/2~3sent/*.json\"\n",
    "# file_json_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "ga6u88owUwlL"
   },
   "outputs": [],
   "source": [
    "# read_json 으로 일부 파일 확인\n",
    "temp_data = pd.read_json(file_json_list[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "AjK50qbCQ0_c"
   },
   "outputs": [],
   "source": [
    "summary_dataset = []\n",
    "# 전체 문단 데이터\n",
    "article = temp_data['Meta(Refine)']['passage']\n",
    "\n",
    "# 요약문은 총 4종류 - 있을수도 없을수도 있음\n",
    "# 첫번째 요약문 하나만 사용\n",
    "summary = temp_data['Annotation']['summary1']\n",
    "\n",
    "# [전체 문단, 요약문] 으로 묶어서 추가\n",
    "summary_dataset.append([article, summary])\n",
    "summary_dataset[:3]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "7-iOGOU9QE_Y"
   },
   "outputs": [],
   "source": [
    "# 반복문으로 모든 파일 목록 가져오기\n",
    "summary_dataset = []\n",
    "\n",
    "\n",
    "df = pd.DataFrame(summary_dataset)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "2r7E-UtabVk6"
   },
   "outputs": [],
   "source": [
    "# 데이터 프레임으로 만들기\n",
    "# columns=[\"article\", \"summary\"])\n",
    "# df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "u4Peyi4b9q_c"
   },
   "source": [
    "## 필요한 데이터만 모으기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "XvIRnESobwDY"
   },
   "outputs": [],
   "source": [
    "# 데이터 개수 확인, 앞의 2개 확인\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "NrbhiFPzCJxv"
   },
   "outputs": [],
   "source": [
    "# 텍스트 데이터 길이 분석\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "0iFYwOGACLaZ"
   },
   "outputs": [],
   "source": [
    "# 텍스트 데이터 길이 시각화\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "BDJORmvS9v5c"
   },
   "source": [
    "## 저장하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "0icrLB4Bb4XX"
   },
   "outputs": [],
   "source": [
    "file_name = \"aihub_text.csv\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "EdFfyQuCv8tb"
   },
   "outputs": [],
   "source": [
    "# colab 사용시 파일 다운로드\n",
    "# try:\n",
    "#     from google.colab import files\n",
    "#     files.download(file_name)\n",
    "# except Exception:\n",
    "#     pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "dN-LeaeC-CWN"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": [
    {
     "file_id": "1HshpD9viIUgA7dNIghylGpypgnQxAtXh",
     "timestamp": 1682694436059
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}