format_results.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import pickle"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"/home/bilgi/emrecan/zeroshot-turkish/zeroshot_classification/mlm_results_revision.bin\", \"rb\") as f:\n",
    "    res = pickle.load(f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>dbmdz/convbert-base-turkish-cased</th>\n",
       "      <th>bert-base-multilingual-cased</th>\n",
       "      <th>dbmdz/distilbert-base-turkish-cased</th>\n",
       "      <th>distilbert-base-multilingual-cased</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>ttc3600</th>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ttc4900</th>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17bintweet</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tremo</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ruh_hali</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>turkish_product_reviews</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tc32</th>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         dbmdz/convbert-base-turkish-cased  \\\n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...   \n",
       "\n",
       "                                              bert-base-multilingual-cased  \\\n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...   \n",
       "\n",
       "                                       dbmdz/distilbert-base-turkish-cased  \\\n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...   \n",
       "\n",
       "                                        distilbert-base-multilingual-cased  \n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...  \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...  \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.DataFrame(res)   "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Bu haberin konusu çoğunlukla {}</th>\n",
       "      <th>Bu haber çoğunlukla {} ile ilgilidir</th>\n",
       "      <th>Bu haberin içeriği çoğunlukla {} ile ilgilidir</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>classification_report</th>\n",
       "      <td>{'ekonomi': {'precision': 0.20699708454810495,...</td>\n",
       "      <td>{'ekonomi': {'precision': 0.11842105263157894,...</td>\n",
       "      <td>{'ekonomi': {'precision': 0.1320754716981132, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>confusion_matrix</th>\n",
       "      <td>[[71, 33, 59, 11, 0, 0], [61, 31, 76, 10, 2, 1...</td>\n",
       "      <td>[[9, 9, 130, 25, 1, 0], [17, 9, 120, 31, 4, 0]...</td>\n",
       "      <td>[[7, 14, 144, 7, 2, 0], [20, 16, 129, 13, 3, 0...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>accuracy</th>\n",
       "      <td>0.175926</td>\n",
       "      <td>0.166667</td>\n",
       "      <td>0.172222</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         Bu haberin konusu çoğunlukla {}  \\\n",
       "classification_report  {'ekonomi': {'precision': 0.20699708454810495,...   \n",
       "confusion_matrix       [[71, 33, 59, 11, 0, 0], [61, 31, 76, 10, 2, 1...   \n",
       "accuracy                                                        0.175926   \n",
       "\n",
       "                                    Bu haber çoğunlukla {} ile ilgilidir  \\\n",
       "classification_report  {'ekonomi': {'precision': 0.11842105263157894,...   \n",
       "confusion_matrix       [[9, 9, 130, 25, 1, 0], [17, 9, 120, 31, 4, 0]...   \n",
       "accuracy                                                        0.166667   \n",
       "\n",
       "                          Bu haberin içeriği çoğunlukla {} ile ilgilidir  \n",
       "classification_report  {'ekonomi': {'precision': 0.1320754716981132, ...  \n",
       "confusion_matrix       [[7, 14, 144, 7, 2, 0], [20, 16, 129, 13, 3, 0...  \n",
       "accuracy                                                        0.172222  "
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.DataFrame(res[\"dbmdz/convbert-base-turkish-cased\"][\"ttc3600\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>dbmdz/convbert-base-turkish-cased</th>\n",
       "      <th>bert-base-multilingual-cased</th>\n",
       "      <th>dbmdz/distilbert-base-turkish-cased</th>\n",
       "      <th>distilbert-base-multilingual-cased</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>ttc3600</th>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ttc4900</th>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "      <td>{'Bu haberin konusu çoğunlukla {}': {'classifi...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17bintweet</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tremo</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ruh_hali</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>turkish_product_reviews</th>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "      <td>{'Bu metnin içerdiği duygu çoğunlukla {}': {'c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tc32</th>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "      <td>{'Bu şikayetin konusu çoğunlukla {}': {'classi...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         dbmdz/convbert-base-turkish-cased  \\\n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...   \n",
       "\n",
       "                                              bert-base-multilingual-cased  \\\n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...   \n",
       "\n",
       "                                       dbmdz/distilbert-base-turkish-cased  \\\n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...   \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...   \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...   \n",
       "\n",
       "                                        distilbert-base-multilingual-cased  \n",
       "ttc3600                  {'Bu haberin konusu çoğunlukla {}': {'classifi...  \n",
       "ttc4900                  {'Bu haberin konusu çoğunlukla {}': {'classifi...  \n",
       "17bintweet               {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "tremo                    {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "ruh_hali                 {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "turkish_product_reviews  {'Bu metnin içerdiği duygu çoğunlukla {}': {'c...  \n",
       "tc32                     {'Bu şikayetin konusu çoğunlukla {}': {'classi...  "
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.DataFrame(res)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [],
   "source": [
    "reform = {}\n",
    "for model, dataset_dict in res.items():\n",
    "    index = []\n",
    "    model_metrics = []\n",
    "    for dataset, template_dict in dataset_dict.items():\n",
    "        for idx, (template, report_dict) in enumerate(template_dict.items()):\n",
    "            if (dataset, template) not in index:\n",
    "                index.append((dataset, template))\n",
    "            model_metrics.append(report_dict['classification_report'][\"weighted avg\"][\"f1-score\"])\n",
    "    reform[model] = model_metrics\n",
    "            #reform[(model, dataset+template)] = {(dataset, template): report_dict['classification_report'][\"weighted avg\"][\"f1-score\"]}\n",
    "    # lala.append({(k1,v1): v[k1][v1]['classification_report'][\"weighted avg\"][\"f1-score\"] for k1, v1 in v.items()})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.DataFrame(reform)\n",
    "index = pd.MultiIndex.from_tuples(index, names=[\"dataset\", \"template\"])\n",
    "df.index = index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th>dbmdz/convbert-base-turkish-cased</th>\n",
       "      <th>bert-base-multilingual-cased</th>\n",
       "      <th>dbmdz/distilbert-base-turkish-cased</th>\n",
       "      <th>distilbert-base-multilingual-cased</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>dataset</th>\n",
       "      <th>template</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">ttc3600</th>\n",
       "      <th>Bu haberin konusu çoğunlukla {}</th>\n",
       "      <td>0.133072</td>\n",
       "      <td>0.156782</td>\n",
       "      <td>0.451494</td>\n",
       "      <td>0.079758</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu haber çoğunlukla {} ile ilgilidir</th>\n",
       "      <td>0.110097</td>\n",
       "      <td>0.522740</td>\n",
       "      <td>0.680193</td>\n",
       "      <td>0.352354</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu haberin içeriği çoğunlukla {} ile ilgilidir</th>\n",
       "      <td>0.104699</td>\n",
       "      <td>0.540525</td>\n",
       "      <td>0.671148</td>\n",
       "      <td>0.265065</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">ttc4900</th>\n",
       "      <th>Bu haberin konusu çoğunlukla {}</th>\n",
       "      <td>0.153254</td>\n",
       "      <td>0.121376</td>\n",
       "      <td>0.299078</td>\n",
       "      <td>0.049736</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu haber çoğunlukla {} ile ilgilidir</th>\n",
       "      <td>0.077096</td>\n",
       "      <td>0.326833</td>\n",
       "      <td>0.491730</td>\n",
       "      <td>0.135105</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu haberin içeriği çoğunlukla {} ile ilgilidir</th>\n",
       "      <td>0.070807</td>\n",
       "      <td>0.330641</td>\n",
       "      <td>0.484987</td>\n",
       "      <td>0.092281</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">17bintweet</th>\n",
       "      <th>Bu metnin içerdiği duygu çoğunlukla {}</th>\n",
       "      <td>0.260337</td>\n",
       "      <td>0.170785</td>\n",
       "      <td>0.174178</td>\n",
       "      <td>0.189407</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu metin çoğunlukla {} duygular içeriyor</th>\n",
       "      <td>0.227824</td>\n",
       "      <td>0.229231</td>\n",
       "      <td>0.334383</td>\n",
       "      <td>0.115634</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Çoğunlukla {} duygular hissediyorum</th>\n",
       "      <td>0.234856</td>\n",
       "      <td>0.283671</td>\n",
       "      <td>0.318899</td>\n",
       "      <td>0.131627</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">tremo</th>\n",
       "      <th>Bu metnin içerdiği duygu çoğunlukla {}</th>\n",
       "      <td>0.108598</td>\n",
       "      <td>0.036393</td>\n",
       "      <td>0.058924</td>\n",
       "      <td>0.098221</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu metin çoğunlukla {} duygular içeriyor</th>\n",
       "      <td>0.064540</td>\n",
       "      <td>0.028382</td>\n",
       "      <td>0.176358</td>\n",
       "      <td>0.034092</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Çoğunlukla {} duygular hissediyorum</th>\n",
       "      <td>0.075046</td>\n",
       "      <td>0.045310</td>\n",
       "      <td>0.026463</td>\n",
       "      <td>0.048521</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">ruh_hali</th>\n",
       "      <th>Bu metnin içerdiği duygu çoğunlukla {}</th>\n",
       "      <td>0.265263</td>\n",
       "      <td>0.137209</td>\n",
       "      <td>0.304959</td>\n",
       "      <td>0.193562</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu metin çoğunlukla {} duygular içeriyor</th>\n",
       "      <td>0.182112</td>\n",
       "      <td>0.148810</td>\n",
       "      <td>0.256494</td>\n",
       "      <td>0.148810</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Çoğunlukla {} duygular hissediyorum</th>\n",
       "      <td>0.256731</td>\n",
       "      <td>0.172304</td>\n",
       "      <td>0.231322</td>\n",
       "      <td>0.148810</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">turkish_product_reviews</th>\n",
       "      <th>Bu metnin içerdiği duygu çoğunlukla {}</th>\n",
       "      <td>0.016045</td>\n",
       "      <td>0.014427</td>\n",
       "      <td>0.650070</td>\n",
       "      <td>0.901840</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu metin çoğunlukla {} duygular içeriyor</th>\n",
       "      <td>0.011559</td>\n",
       "      <td>0.010765</td>\n",
       "      <td>0.769309</td>\n",
       "      <td>0.904011</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Çoğunlukla {} duygular hissediyorum</th>\n",
       "      <td>0.029902</td>\n",
       "      <td>0.142288</td>\n",
       "      <td>0.480082</td>\n",
       "      <td>0.901938</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">tc32</th>\n",
       "      <th>Bu şikayetin konusu çoğunlukla {}</th>\n",
       "      <td>0.017344</td>\n",
       "      <td>0.020075</td>\n",
       "      <td>0.006134</td>\n",
       "      <td>0.008302</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>{} hizmetinizden memnun değilim</th>\n",
       "      <td>0.014686</td>\n",
       "      <td>0.031394</td>\n",
       "      <td>0.020967</td>\n",
       "      <td>0.027947</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bu şikayetin içeriği çoğunlukla {} ile ilgili</th>\n",
       "      <td>0.012597</td>\n",
       "      <td>0.085087</td>\n",
       "      <td>0.255713</td>\n",
       "      <td>0.033653</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                        dbmdz/convbert-base-turkish-cased  \\\n",
       "dataset                 template                                                                            \n",
       "ttc3600                 Bu haberin konusu çoğunlukla {}                                          0.133072   \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                     0.110097   \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                           0.104699   \n",
       "ttc4900                 Bu haberin konusu çoğunlukla {}                                          0.153254   \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                     0.077096   \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                           0.070807   \n",
       "17bintweet              Bu metnin içerdiği duygu çoğunlukla {}                                   0.260337   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                 0.227824   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                      0.234856   \n",
       "tremo                   Bu metnin içerdiği duygu çoğunlukla {}                                   0.108598   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                 0.064540   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                      0.075046   \n",
       "ruh_hali                Bu metnin içerdiği duygu çoğunlukla {}                                   0.265263   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                 0.182112   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                      0.256731   \n",
       "turkish_product_reviews Bu metnin içerdiği duygu çoğunlukla {}                                   0.016045   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                 0.011559   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                      0.029902   \n",
       "tc32                    Bu şikayetin konusu çoğunlukla {}                                        0.017344   \n",
       "                        {} hizmetinizden memnun değilim                                          0.014686   \n",
       "                        Bu şikayetin içeriği çoğunlukla {} ile ilgili                            0.012597   \n",
       "\n",
       "                                                                        bert-base-multilingual-cased  \\\n",
       "dataset                 template                                                                       \n",
       "ttc3600                 Bu haberin konusu çoğunlukla {}                                     0.156782   \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                0.522740   \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                      0.540525   \n",
       "ttc4900                 Bu haberin konusu çoğunlukla {}                                     0.121376   \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                0.326833   \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                      0.330641   \n",
       "17bintweet              Bu metnin içerdiği duygu çoğunlukla {}                              0.170785   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                            0.229231   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                 0.283671   \n",
       "tremo                   Bu metnin içerdiği duygu çoğunlukla {}                              0.036393   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                            0.028382   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                 0.045310   \n",
       "ruh_hali                Bu metnin içerdiği duygu çoğunlukla {}                              0.137209   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                            0.148810   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                 0.172304   \n",
       "turkish_product_reviews Bu metnin içerdiği duygu çoğunlukla {}                              0.014427   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                            0.010765   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                 0.142288   \n",
       "tc32                    Bu şikayetin konusu çoğunlukla {}                                   0.020075   \n",
       "                        {} hizmetinizden memnun değilim                                     0.031394   \n",
       "                        Bu şikayetin içeriği çoğunlukla {} ile ilgili                       0.085087   \n",
       "\n",
       "                                                                        dbmdz/distilbert-base-turkish-cased  \\\n",
       "dataset                 template                                                                              \n",
       "ttc3600                 Bu haberin konusu çoğunlukla {}                                            0.451494   \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                       0.680193   \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                             0.671148   \n",
       "ttc4900                 Bu haberin konusu çoğunlukla {}                                            0.299078   \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                       0.491730   \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                             0.484987   \n",
       "17bintweet              Bu metnin içerdiği duygu çoğunlukla {}                                     0.174178   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                   0.334383   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                        0.318899   \n",
       "tremo                   Bu metnin içerdiği duygu çoğunlukla {}                                     0.058924   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                   0.176358   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                        0.026463   \n",
       "ruh_hali                Bu metnin içerdiği duygu çoğunlukla {}                                     0.304959   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                   0.256494   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                        0.231322   \n",
       "turkish_product_reviews Bu metnin içerdiği duygu çoğunlukla {}                                     0.650070   \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                   0.769309   \n",
       "                        Çoğunlukla {} duygular hissediyorum                                        0.480082   \n",
       "tc32                    Bu şikayetin konusu çoğunlukla {}                                          0.006134   \n",
       "                        {} hizmetinizden memnun değilim                                            0.020967   \n",
       "                        Bu şikayetin içeriği çoğunlukla {} ile ilgili                              0.255713   \n",
       "\n",
       "                                                                        distilbert-base-multilingual-cased  \n",
       "dataset                 template                                                                            \n",
       "ttc3600                 Bu haberin konusu çoğunlukla {}                                           0.079758  \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                      0.352354  \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                            0.265065  \n",
       "ttc4900                 Bu haberin konusu çoğunlukla {}                                           0.049736  \n",
       "                        Bu haber çoğunlukla {} ile ilgilidir                                      0.135105  \n",
       "                        Bu haberin içeriği çoğunlukla {} ile ilgilidir                            0.092281  \n",
       "17bintweet              Bu metnin içerdiği duygu çoğunlukla {}                                    0.189407  \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                  0.115634  \n",
       "                        Çoğunlukla {} duygular hissediyorum                                       0.131627  \n",
       "tremo                   Bu metnin içerdiği duygu çoğunlukla {}                                    0.098221  \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                  0.034092  \n",
       "                        Çoğunlukla {} duygular hissediyorum                                       0.048521  \n",
       "ruh_hali                Bu metnin içerdiği duygu çoğunlukla {}                                    0.193562  \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                  0.148810  \n",
       "                        Çoğunlukla {} duygular hissediyorum                                       0.148810  \n",
       "turkish_product_reviews Bu metnin içerdiği duygu çoğunlukla {}                                    0.901840  \n",
       "                        Bu metin çoğunlukla {} duygular içeriyor                                  0.904011  \n",
       "                        Çoğunlukla {} duygular hissediyorum                                       0.901938  \n",
       "tc32                    Bu şikayetin konusu çoğunlukla {}                                         0.008302  \n",
       "                        {} hizmetinizden memnun değilim                                           0.027947  \n",
       "                        Bu şikayetin içeriği çoğunlukla {} ile ilgili                             0.033653  "
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict_values([{'classification_report': {'ekonomi': {'precision': 0.20699708454810495, 'recall': 0.40804597701149425, 'f1-score': 0.2746615087040619, 'support': 174}, 'kültürsanat': {'precision': 0.12156862745098039, 'recall': 0.1712707182320442, 'f1-score': 0.14220183486238533, 'support': 181}, 'sağlık': {'precision': 0.1885245901639344, 'recall': 0.39204545454545453, 'f1-score': 0.25461254612546125, 'support': 176}, 'siyaset': {'precision': 0.1919191919191919, 'recall': 0.09547738693467336, 'f1-score': 0.12751677852348994, 'support': 199}, 'spor': {'precision': 0.0, 'recall': 0.0, 'f1-score': 0.0, 'support': 170}, 'teknoloji': {'precision': 0.0, 'recall': 0.0, 'f1-score': 0.0, 'support': 180}, 'accuracy': 0.17592592592592593, 'macro avg': {'precision': 0.11816824901370195, 'recall': 0.17780658945394442, 'f1-score': 0.13316544470256642, 'support': 1080}, 'weighted avg': {'precision': 0.11980894568589756, 'recall': 0.17592592592592593, 'f1-score': 0.13307155710079094, 'support': 1080}}, 'confusion_matrix': array([[71, 33, 59, 11,  0,  0],\n",
       "       [61, 31, 76, 10,  2,  1],\n",
       "       [71, 26, 69,  7,  1,  2],\n",
       "       [64, 40, 71, 19,  5,  0],\n",
       "       [29, 59, 49, 32,  0,  1],\n",
       "       [47, 66, 42, 20,  5,  0]]), 'accuracy': 0.17592592592592593}, {'classification_report': {'ekonomi': {'precision': 0.11842105263157894, 'recall': 0.05172413793103448, 'f1-score': 0.072, 'support': 174}, 'kültürsanat': {'precision': 0.15517241379310345, 'recall': 0.049723756906077346, 'f1-score': 0.07531380753138074, 'support': 181}, 'sağlık': {'precision': 0.1576923076923077, 'recall': 0.6988636363636364, 'f1-score': 0.25732217573221755, 'support': 176}, 'siyaset': {'precision': 0.23809523809523808, 'recall': 0.17587939698492464, 'f1-score': 0.2023121387283237, 'support': 199}, 'spor': {'precision': 0.21052631578947367, 'recall': 0.023529411764705882, 'f1-score': 0.042328042328042326, 'support': 170}, 'teknoloji': {'precision': 0.0, 'recall': 0.0, 'f1-score': 0.0, 'support': 180}, 'accuracy': 0.16666666666666666, 'macro avg': {'precision': 0.14665122133361697, 'recall': 0.16662005665839644, 'f1-score': 0.10821269405332738, 'support': 1080}, 'weighted avg': {'precision': 0.14779235395690324, 'recall': 0.16666666666666666, 'f1-score': 0.1100966526803276, 'support': 1080}}, 'confusion_matrix': array([[  9,   9, 130,  25,   1,   0],\n",
       "       [ 17,   9, 120,  31,   4,   0],\n",
       "       [ 12,  14, 123,  26,   1,   0],\n",
       "       [ 21,   9, 134,  35,   0,   0],\n",
       "       [  7,   2, 139,  18,   4,   0],\n",
       "       [ 10,  15, 134,  12,   9,   0]]), 'accuracy': 0.16666666666666666}, {'classification_report': {'ekonomi': {'precision': 0.1320754716981132, 'recall': 0.040229885057471264, 'f1-score': 0.06167400881057269, 'support': 174}, 'kültürsanat': {'precision': 0.19753086419753085, 'recall': 0.08839779005524862, 'f1-score': 0.12213740458015267, 'support': 181}, 'sağlık': {'precision': 0.16359447004608296, 'recall': 0.8068181818181818, 'f1-score': 0.2720306513409962, 'support': 176}, 'siyaset': {'precision': 0.2923076923076923, 'recall': 0.09547738693467336, 'f1-score': 0.14393939393939392, 'support': 199}, 'spor': {'precision': 0.15384615384615385, 'recall': 0.011764705882352941, 'f1-score': 0.021857923497267756, 'support': 170}, 'teknoloji': {'precision': 0.0, 'recall': 0.0, 'f1-score': 0.0, 'support': 180}, 'accuracy': 0.17222222222222222, 'macro avg': {'precision': 0.15655910868259554, 'recall': 0.173781324957988, 'f1-score': 0.10360656369473054, 'support': 1080}, 'weighted avg': {'precision': 0.15912029828371513, 'recall': 0.17222222222222222, 'f1-score': 0.10469937850605326, 'support': 1080}}, 'confusion_matrix': array([[  7,  14, 144,   7,   2,   0],\n",
       "       [ 20,  16, 129,  13,   3,   0],\n",
       "       [  8,  12, 142,  13,   1,   0],\n",
       "       [  8,  15, 157,  19,   0,   0],\n",
       "       [  2,  13, 146,   7,   2,   0],\n",
       "       [  8,  11, 150,   6,   5,   0]]), 'accuracy': 0.17222222222222222}])"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "res['dbmdz/convbert-base-turkish-cased'][\"ttc3600\"].values()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th>Bu haberin konusu çoğunlukla {}</th>\n",
       "      <th>Bu haber çoğunlukla {} ile ilgilidir</th>\n",
       "      <th>Bu haberin içeriği çoğunlukla {} ile ilgilidir</th>\n",
       "      <th>Bu metnin içerdiği duygu çoğunlukla {}</th>\n",
       "      <th>Bu metin çoğunlukla {} duygular içeriyor</th>\n",
       "      <th>Çoğunlukla {} duygular hissediyorum</th>\n",
       "      <th>Bu şikayetin konusu çoğunlukla {}</th>\n",
       "      <th>{} hizmetinizden memnun değilim</th>\n",
       "      <th>Bu şikayetin içeriği çoğunlukla {} ile ilgili</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th rowspan=\"7\" valign=\"top\">dbmdz/convbert-base-turkish-cased</th>\n",
       "      <th>ttc3600</th>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ttc4900</th>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17bintweet</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tremo</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ruh_hali</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>turkish_product_reviews</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tc32</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"7\" valign=\"top\">bert-base-multilingual-cased</th>\n",
       "      <th>ttc3600</th>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ttc4900</th>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17bintweet</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tremo</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ruh_hali</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>turkish_product_reviews</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tc32</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"7\" valign=\"top\">dbmdz/distilbert-base-turkish-cased</th>\n",
       "      <th>ttc3600</th>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ttc4900</th>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17bintweet</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tremo</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ruh_hali</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>turkish_product_reviews</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tc32</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"7\" valign=\"top\">distilbert-base-multilingual-cased</th>\n",
       "      <th>ttc3600</th>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>{'classification_report': {'ekonomi': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ttc4900</th>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>{'classification_report': {'dünya ': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17bintweet</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>{'classification_report': {'notr': {'precision...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tremo</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>{'classification_report': {'belirsiz': {'preci...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ruh_hali</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>{'classification_report': {'karışık': {'precis...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>turkish_product_reviews</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>{'classification_report': {'olumlu': {'precisi...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tc32</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "      <td>{'classification_report': {'alışveriş': {'prec...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                               Bu haberin konusu çoğunlukla {}  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "bert-base-multilingual-cased        ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "distilbert-base-multilingual-cased  ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "\n",
       "                                                                          Bu haber çoğunlukla {} ile ilgilidir  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "bert-base-multilingual-cased        ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "distilbert-base-multilingual-cased  ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "\n",
       "                                                                Bu haberin içeriği çoğunlukla {} ile ilgilidir  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "bert-base-multilingual-cased        ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "distilbert-base-multilingual-cased  ttc3600                  {'classification_report': {'ekonomi': {'precis...   \n",
       "                                    ttc4900                  {'classification_report': {'dünya ': {'precisi...   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                                                                   NaN   \n",
       "\n",
       "                                                                        Bu metnin içerdiği duygu çoğunlukla {}  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "bert-base-multilingual-cased        ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "distilbert-base-multilingual-cased  ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "\n",
       "                                                                      Bu metin çoğunlukla {} duygular içeriyor  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "bert-base-multilingual-cased        ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "distilbert-base-multilingual-cased  ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "\n",
       "                                                                           Çoğunlukla {} duygular hissediyorum  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "bert-base-multilingual-cased        ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "distilbert-base-multilingual-cased  ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet               {'classification_report': {'notr': {'precision...   \n",
       "                                    tremo                    {'classification_report': {'belirsiz': {'preci...   \n",
       "                                    ruh_hali                 {'classification_report': {'karışık': {'precis...   \n",
       "                                    turkish_product_reviews  {'classification_report': {'olumlu': {'precisi...   \n",
       "                                    tc32                                                                   NaN   \n",
       "\n",
       "                                                                             Bu şikayetin konusu çoğunlukla {}  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "bert-base-multilingual-cased        ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "distilbert-base-multilingual-cased  ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "\n",
       "                                                                               {} hizmetinizden memnun değilim  \\\n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "bert-base-multilingual-cased        ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "distilbert-base-multilingual-cased  ttc3600                                                                NaN   \n",
       "                                    ttc4900                                                                NaN   \n",
       "                                    17bintweet                                                             NaN   \n",
       "                                    tremo                                                                  NaN   \n",
       "                                    ruh_hali                                                               NaN   \n",
       "                                    turkish_product_reviews                                                NaN   \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...   \n",
       "\n",
       "                                                                 Bu şikayetin içeriği çoğunlukla {} ile ilgili  \n",
       "dbmdz/convbert-base-turkish-cased   ttc3600                                                                NaN  \n",
       "                                    ttc4900                                                                NaN  \n",
       "                                    17bintweet                                                             NaN  \n",
       "                                    tremo                                                                  NaN  \n",
       "                                    ruh_hali                                                               NaN  \n",
       "                                    turkish_product_reviews                                                NaN  \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...  \n",
       "bert-base-multilingual-cased        ttc3600                                                                NaN  \n",
       "                                    ttc4900                                                                NaN  \n",
       "                                    17bintweet                                                             NaN  \n",
       "                                    tremo                                                                  NaN  \n",
       "                                    ruh_hali                                                               NaN  \n",
       "                                    turkish_product_reviews                                                NaN  \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...  \n",
       "dbmdz/distilbert-base-turkish-cased ttc3600                                                                NaN  \n",
       "                                    ttc4900                                                                NaN  \n",
       "                                    17bintweet                                                             NaN  \n",
       "                                    tremo                                                                  NaN  \n",
       "                                    ruh_hali                                                               NaN  \n",
       "                                    turkish_product_reviews                                                NaN  \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...  \n",
       "distilbert-base-multilingual-cased  ttc3600                                                                NaN  \n",
       "                                    ttc4900                                                                NaN  \n",
       "                                    17bintweet                                                             NaN  \n",
       "                                    tremo                                                                  NaN  \n",
       "                                    ruh_hali                                                               NaN  \n",
       "                                    turkish_product_reviews                                                NaN  \n",
       "                                    tc32                     {'classification_report': {'alışveriş': {'prec...  "
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "reform = {(outerKey, innerKey): values for outerKey, innerDict in res.items() for innerKey, values in innerDict.items()}\n",
    "pd.DataFrame(reform).T"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import datasets\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = pd.read_csv(\"/home/bilgi/emrecan/zeroshot-turkish/datasets/turkish_movie_reviews_big/turkish_movie_sentiment_dataset.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = pd.read_csv(\"/home/bilgi/emrecan/zeroshot-turkish/datasets/turkish_movie_reviews_big/formatted_train.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['olumlu', 'olumsuz'], dtype=object)"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset[\"label\"].unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>film_name</th>\n",
       "      <th>point</th>\n",
       "      <th>label</th>\n",
       "      <th>label2</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>\\n                      Jean Reno denince zate...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>\\n                      Ekşın falan izlemek is...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>\\n                      Bu yapım hakkında öyle...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>\\n                      finali yeter... (sting...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>\\n                      Jean Reno..\\nbu adam k...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83222</th>\n",
       "      <td>\\n                      Böyle bi kadrodan, bçy...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>nötr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83223</th>\n",
       "      <td>\\n                      yani bu kaar ii oyunca...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>nötr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83224</th>\n",
       "      <td>\\n                      bugün dvd'sini alıp iz...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>1,0</td>\n",
       "      <td>olumsuz</td>\n",
       "      <td>olumsuz</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83225</th>\n",
       "      <td>\\n                      Klasik korku ve gerili...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>4,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83226</th>\n",
       "      <td>\\n                      Bence gereğinden fazla...</td>\n",
       "      <td>Bir Zamanlar... Hollywood'da</td>\n",
       "      <td>4,6</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>83052 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text  \\\n",
       "0      \\n                      Jean Reno denince zate...   \n",
       "1      \\n                      Ekşın falan izlemek is...   \n",
       "2      \\n                      Bu yapım hakkında öyle...   \n",
       "3      \\n                      finali yeter... (sting...   \n",
       "4      \\n                      Jean Reno..\\nbu adam k...   \n",
       "...                                                  ...   \n",
       "83222  \\n                      Böyle bi kadrodan, bçy...   \n",
       "83223  \\n                      yani bu kaar ii oyunca...   \n",
       "83224  \\n                      bugün dvd'sini alıp iz...   \n",
       "83225  \\n                      Klasik korku ve gerili...   \n",
       "83226  \\n                      Bence gereğinden fazla...   \n",
       "\n",
       "                          film_name point    label   label2  \n",
       "0                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "1                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "2                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "3                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "4                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "...                             ...   ...      ...      ...  \n",
       "83222                         Kabus   2,5   olumlu     nötr  \n",
       "83223                         Kabus   2,5   olumlu     nötr  \n",
       "83224                         Kabus   1,0  olumsuz  olumsuz  \n",
       "83225                         Kabus   4,0   olumlu   olumlu  \n",
       "83226  Bir Zamanlar... Hollywood'da   4,6   olumlu   olumlu  \n",
       "\n",
       "[83052 rows x 5 columns]"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>comment</th>\n",
       "      <th>film_name</th>\n",
       "      <th>point</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>\\n                      film güzel ama çok aba...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>\\n                      Diğer remake'lerden ka...</td>\n",
       "      <td>Teksas Katliamı 3D</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>\\n                      Bakalım 3 gün içinde t...</td>\n",
       "      <td>Baba 3</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>\\n                      Bu filme kötü demek ha...</td>\n",
       "      <td>Baba 3</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>\\n                      serinin diğer filmleri...</td>\n",
       "      <td>Baba 3</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83213</th>\n",
       "      <td>\\n                      Vasat bir gerilim film...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83218</th>\n",
       "      <td>\\n                      çok bildik bir konu üz...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83221</th>\n",
       "      <td>\\n                      Kadro süper fakat sena...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83222</th>\n",
       "      <td>\\n                      Böyle bi kadrodan, bçy...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83223</th>\n",
       "      <td>\\n                      yani bu kaar ii oyunca...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>11433 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                 comment           film_name  \\\n",
       "8      \\n                      film güzel ama çok aba...       Sevginin Gücü   \n",
       "20     \\n                      Diğer remake'lerden ka...  Teksas Katliamı 3D   \n",
       "40     \\n                      Bakalım 3 gün içinde t...              Baba 3   \n",
       "41     \\n                      Bu filme kötü demek ha...              Baba 3   \n",
       "43     \\n                      serinin diğer filmleri...              Baba 3   \n",
       "...                                                  ...                 ...   \n",
       "83213  \\n                      Vasat bir gerilim film...               Kabus   \n",
       "83218  \\n                      çok bildik bir konu üz...               Kabus   \n",
       "83221  \\n                      Kadro süper fakat sena...               Kabus   \n",
       "83222  \\n                      Böyle bi kadrodan, bçy...               Kabus   \n",
       "83223  \\n                      yani bu kaar ii oyunca...               Kabus   \n",
       "\n",
       "      point  \n",
       "8       2,5  \n",
       "20      2,5  \n",
       "40      2,5  \n",
       "41      2,5  \n",
       "43      2,5  \n",
       "...     ...  \n",
       "83213   2,5  \n",
       "83218   2,5  \n",
       "83221   2,5  \n",
       "83222   2,5  \n",
       "83223   2,5  \n",
       "\n",
       "[11433 rows x 3 columns]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset[dataset[\"point\"] == \"2,5\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset[\"label2\"] = dataset[\"point\"].apply(to_label, args=(3,))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset[dataset[\"text\"].str.len() > 5].to_csv(\"/home/bilgi/emrecan/zeroshot-turkish/datasets/turkish_movie_reviews_big/formatted_train.csv\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "import xlrd\n",
    "def FromExcelToArray():\n",
    "\n",
    "    WBook = xlrd.open_workbook(\"/home/bilgi/emrecan/zeroshot-turkish/datasets/turkish_movie_reviews_small/ReviewsAndRatings_all_19_06.xls\")\n",
    "    WSheets = WBook.sheets()\n",
    "    ReviewWS,RatingsWS = WSheets\n",
    "\n",
    "\n",
    "    Ratings = RatingsWS.col_values(0)\n",
    "    Reviews = ReviewWS.col_values(0)\n",
    "    Ratings_Normal = RatingsWS.col_values(1)\n",
    "\n",
    "    return Ratings,Reviews,Ratings_Normal"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Reviews and corresponding rankings are imported from excel\n",
    "Ratings,Reviews,_ = FromExcelToArray()\n",
    "sentences = []\n",
    "for review in Reviews:\n",
    "    sentences.append(review.split())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset2 = pd.DataFrame({\"text\": Reviews, \"ratings\": Ratings})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset2[\"label2\"] = dataset2[\"ratings\"].apply(to_label, args=(3,))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset2 = pd.read_csv(\"/home/bilgi/emrecan/zeroshot-turkish/datasets/turkish_movie_reviews_small/formatted_train.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>ratings</th>\n",
       "      <th>label</th>\n",
       "      <th>label2</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>nicholson gene harika</td>\n",
       "      <td>4.0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>mukemmel derece kotu diyen arkadasin sinema bi...</td>\n",
       "      <td>5.0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>mukemmel derecede kotu bi film hep biselerin o...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>olumsuz</td>\n",
       "      <td>olumsuz</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>nasil begendiginizi anlamiyorum bu filmi filmd...</td>\n",
       "      <td>1.5</td>\n",
       "      <td>olumsuz</td>\n",
       "      <td>olumsuz</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ok harika bir film senaryo gereginden fazla ol...</td>\n",
       "      <td>5.0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34985</th>\n",
       "      <td>ilk ciktiginda sinemada daha sonra televizyond...</td>\n",
       "      <td>2.5</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>nötr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34986</th>\n",
       "      <td>cok guzel bir filmdi heyecandan oluyorsunuz ya...</td>\n",
       "      <td>3.5</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34987</th>\n",
       "      <td>ok begendigim bir film bir cok kez tv de izled...</td>\n",
       "      <td>4.0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34988</th>\n",
       "      <td>cok surukleyici ve etkileyici bir film  zaten ...</td>\n",
       "      <td>5.0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34989</th>\n",
       "      <td>fantastik ogelere bulunan bir film ama bu film...</td>\n",
       "      <td>4.0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>34978 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text  ratings    label  \\\n",
       "0                                nicholson gene harika        4.0   olumlu   \n",
       "1      mukemmel derece kotu diyen arkadasin sinema bi...      5.0   olumlu   \n",
       "2      mukemmel derecede kotu bi film hep biselerin o...      1.0  olumsuz   \n",
       "3      nasil begendiginizi anlamiyorum bu filmi filmd...      1.5  olumsuz   \n",
       "4      ok harika bir film senaryo gereginden fazla ol...      5.0   olumlu   \n",
       "...                                                  ...      ...      ...   \n",
       "34985  ilk ciktiginda sinemada daha sonra televizyond...      2.5   olumlu   \n",
       "34986  cok guzel bir filmdi heyecandan oluyorsunuz ya...      3.5   olumlu   \n",
       "34987  ok begendigim bir film bir cok kez tv de izled...      4.0   olumlu   \n",
       "34988  cok surukleyici ve etkileyici bir film  zaten ...      5.0   olumlu   \n",
       "34989  fantastik ogelere bulunan bir film ama bu film...      4.0   olumlu   \n",
       "\n",
       "        label2  \n",
       "0       olumlu  \n",
       "1       olumlu  \n",
       "2      olumsuz  \n",
       "3      olumsuz  \n",
       "4       olumlu  \n",
       "...        ...  \n",
       "34985     nötr  \n",
       "34986   olumlu  \n",
       "34987   olumlu  \n",
       "34988   olumlu  \n",
       "34989   olumlu  \n",
       "\n",
       "[34978 rows x 4 columns]"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0        Jean Reno denince zaten leon filmi gelir akla ...\n",
       "1        Ekşın falan izlemek istiyorsanız eğer bunu izl...\n",
       "2        Bu yapım hakkında öyle çok şey yazabilirim ki ...\n",
       "3        finali yeter... (sting - shape of my heart)\\n\\...\n",
       "4        Jean Reno..\\nbu adam kusursuz biri..\\nve oyunc...\n",
       "                               ...                        \n",
       "83222    Böyle bi kadrodan, bçyle bi film. Ne denebilir...\n",
       "83223    yani bu kaar ii oyuncalrın ve yönetmenin  nası...\n",
       "83224    bugün dvd'sini alıp izledim ama inanılmaz kötü...\n",
       "83225                           Klasik korku ve gerilim...\n",
       "83226    Bence gereğinden fazla bir eleştiri aldığını d...\n",
       "Name: text, Length: 83227, dtype: object"
      ]
     },
     "execution_count": 85,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset2[\"text\"] = dataset2[\"text\"].apply(lambda x: x.replace(\"\\n\", \" \").strip())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>film_name</th>\n",
       "      <th>point</th>\n",
       "      <th>label</th>\n",
       "      <th>label2</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Jean Reno denince zaten leon filmi gelir akla ...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Ekşın falan izlemek istiyorsanız eğer bunu izl...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Bu yapım hakkında öyle çok şey yazabilirim ki ...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>finali yeter... (sting - shape of my heart)  b...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Jean Reno.. bu adam kusursuz biri.. ve oyuncul...</td>\n",
       "      <td>Sevginin Gücü</td>\n",
       "      <td>5,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83222</th>\n",
       "      <td>Böyle bi kadrodan, bçyle bi film. Ne denebilir...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>nötr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83223</th>\n",
       "      <td>yani bu kaar ii oyuncalrın ve yönetmenin  nası...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>2,5</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>nötr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83224</th>\n",
       "      <td>bugün dvd'sini alıp izledim ama inanılmaz kötü...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>1,0</td>\n",
       "      <td>olumsuz</td>\n",
       "      <td>olumsuz</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83225</th>\n",
       "      <td>Klasik korku ve gerilim...</td>\n",
       "      <td>Kabus</td>\n",
       "      <td>4,0</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83226</th>\n",
       "      <td>Bence gereğinden fazla bir eleştiri aldığını d...</td>\n",
       "      <td>Bir Zamanlar... Hollywood'da</td>\n",
       "      <td>4,6</td>\n",
       "      <td>olumlu</td>\n",
       "      <td>olumlu</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>82600 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    text  \\\n",
       "0      Jean Reno denince zaten leon filmi gelir akla ...   \n",
       "1      Ekşın falan izlemek istiyorsanız eğer bunu izl...   \n",
       "2      Bu yapım hakkında öyle çok şey yazabilirim ki ...   \n",
       "3      finali yeter... (sting - shape of my heart)  b...   \n",
       "4      Jean Reno.. bu adam kusursuz biri.. ve oyuncul...   \n",
       "...                                                  ...   \n",
       "83222  Böyle bi kadrodan, bçyle bi film. Ne denebilir...   \n",
       "83223  yani bu kaar ii oyuncalrın ve yönetmenin  nası...   \n",
       "83224  bugün dvd'sini alıp izledim ama inanılmaz kötü...   \n",
       "83225                         Klasik korku ve gerilim...   \n",
       "83226  Bence gereğinden fazla bir eleştiri aldığını d...   \n",
       "\n",
       "                          film_name point    label   label2  \n",
       "0                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "1                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "2                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "3                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "4                     Sevginin Gücü   5,0   olumlu   olumlu  \n",
       "...                             ...   ...      ...      ...  \n",
       "83222                         Kabus   2,5   olumlu     nötr  \n",
       "83223                         Kabus   2,5   olumlu     nötr  \n",
       "83224                         Kabus   1,0  olumsuz  olumsuz  \n",
       "83225                         Kabus   4,0   olumlu   olumlu  \n",
       "83226  Bir Zamanlar... Hollywood'da   4,6   olumlu   olumlu  \n",
       "\n",
       "[82600 rows x 5 columns]"
      ]
     },
     "execution_count": 107,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "datase"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset2[dataset2[\"text\"].str.len() > 5].to_csv(\"/home/bilgi/emrecan/zeroshot-turkish/datasets/turkish_movie_reviews_small/formatted_train.csv\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "def to_label(x, n_classes=2):\n",
    "    if isinstance(x, str):\n",
    "        x = x.replace(\",\", \".\")\n",
    "        x = float(x)\n",
    "\n",
    "    if n_classes == 2:\n",
    "        if x >= 2.5:\n",
    "            return \"olumlu\"\n",
    "        else:\n",
    "            return \"olumsuz\"\n",
    "    elif n_classes == 3:\n",
    "        if x >= 3:\n",
    "            return \"olumlu\"\n",
    "        elif x >= 2 and x < 3:\n",
    "            return \"nötr\"\n",
    "        else:\n",
    "            return \"olumsuz\"\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2023-01-06 11:27:52.898960: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.0/lib64:\n",
      "2023-01-06 11:27:52.898983: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.\n"
     ]
    }
   ],
   "source": [
    "from zeroshot_classification.dataset import Dataset\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 112,
   "metadata": {},
   "outputs": [],
   "source": [
    "def load_dataset(dataset):\n",
    "    dataset = dataset.copy()\n",
    "\n",
    "    test_size = dataset.pop(\"test_size\")\n",
    "    return (\n",
    "        Dataset(**dataset)\n",
    "        .load_dataset()\n",
    "        .map_labels()\n",
    "        .preprocess(\"text\")\n",
    "        .preprocess(\"label\")\n",
    "        .train_test_split(test_size=test_size, random_state=7)\n",
    "    )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset = load_dataset({\n",
    "        \"name\": \"turkish_product_reviews\",\n",
    "        \"context\": \"emotion_or_sentiment\",\n",
    "        \"from_\": \"hf\",\n",
    "        \"label_col\": \"sentiment\",\n",
    "        \"text_col\": \"sentence\",\n",
    "        \"label_map\": {\"1\": \"olumlu\", \"0\": \"olumsuz\"},\n",
    "        \"test_size\": 0.3,\n",
    "    })"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 142,
   "metadata": {},
   "outputs": [],
   "source": [
    "from zeroshot_classification.classifiers import NLIZeroshotClassifier, NSPZeroshotClassifier, MLMZeroshotClassifier\n",
    "from zeroshot_classification.config import MODELS"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 131,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = \"123..e.\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 135,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 135,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 129,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['1', '2', '3']"
      ]
     },
     "execution_count": 129,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[i for i in text if all(j.isdigit() or j in string.punctuation for j in i) and any(j.isdigit() for j in i)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 137,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "\n",
    "dataset.dataset.filter(filter_only_punct_num_or_empty, input_columns=[\"text\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 138,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 165/165 [00:03<00:00, 42.24ba/s]\n",
      "100%|██████████| 71/71 [00:01<00:00, 44.41ba/s]\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['text', 'label'],\n",
       "        num_rows: 164569\n",
       "    })\n",
       "    test: Dataset({\n",
       "        features: ['text', 'label'],\n",
       "        num_rows: 70527\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 138,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 139,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['text', 'label'],\n",
       "        num_rows: 164615\n",
       "    })\n",
       "    test: Dataset({\n",
       "        features: ['text', 'label'],\n",
       "        num_rows: 70550\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 139,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset.dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 121,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['pil',\n",
       " 'nice',\n",
       " 'l',\n",
       " '',\n",
       " 'nfc',\n",
       " '',\n",
       " 'tşk',\n",
       " 'kötü',\n",
       " '',\n",
       " 'ipek',\n",
       " 'çöp',\n",
       " 'ehh',\n",
       " '',\n",
       " ',',\n",
       " 'i̇yi',\n",
       " '',\n",
       " 'hed',\n",
       " 'tşk.',\n",
       " 'alın',\n",
       " '...',\n",
       " 'tşk',\n",
       " 'şık',\n",
       " 'tşk.',\n",
       " '.',\n",
       " '. :)',\n",
       " ':)',\n",
       " '',\n",
       " '',\n",
       " 'hız',\n",
       " 'iyi',\n",
       " 'iyi',\n",
       " 'kötü',\n",
       " '-',\n",
       " 'ok',\n",
       " '',\n",
       " '4-',\n",
       " '',\n",
       " 'tşk.',\n",
       " 'ıyı',\n",
       " 'tabi',\n",
       " 'iyı',\n",
       " '',\n",
       " '',\n",
       " 'alın',\n",
       " '',\n",
       " 'ldım',\n",
       " '..',\n",
       " '',\n",
       " 'good',\n",
       " 'y',\n",
       " 'good',\n",
       " ';)',\n",
       " 'hoş',\n",
       " 'iyi',\n",
       " 'iyi',\n",
       " '',\n",
       " 'alın',\n",
       " 'ama',\n",
       " 'ok.',\n",
       " 'ama',\n",
       " 'nice',\n",
       " '-',\n",
       " 'g.a.',\n",
       " '',\n",
       " '8/10',\n",
       " '+++',\n",
       " 'not:',\n",
       " 'erol',\n",
       " 'mrb,',\n",
       " 'tşk',\n",
       " 'ebru',\n",
       " 'da',\n",
       " '',\n",
       " '',\n",
       " 'gzl',\n",
       " '...',\n",
       " 'br',\n",
       " 'ler',\n",
       " 'xd',\n",
       " ',',\n",
       " '---',\n",
       " 'iyi',\n",
       " '-',\n",
       " '.',\n",
       " '',\n",
       " 'iyi',\n",
       " 'tşl']"
      ]
     },
     "execution_count": 121,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[t for t in dataset.dataset[\"train\"][\"text\"] if len(t) < 5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.8.0 ('venv': venv)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.0"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "33cfc1765fb444e27da9bc67badc406e42e3d9935df66d62cd94e99b04a5e589"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}