notebooks/bool-search.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Bool search"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from functools import reduce\n",
    "import numpy as np\n",
    "import jieba\n",
    "import os\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def cut(content):\n",
    "    return ' '.join(jieba.cut(content))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "def build_corpus(path):\n",
    "    corpus = []\n",
    "    for f in os.listdir(path):\n",
    "        if not f.endswith('.txt'):\n",
    "            continue\n",
    "\n",
    "        try:\n",
    "            book_corpus = []\n",
    "            for line in open(os.path.join(path, f), 'r'):\n",
    "                book_corpus.append(cut(line))\n",
    "            corpus.append(' '.join(book_corpus))\n",
    "        except Exception:\n",
    "            print(f)\n",
    "            print(line)\n",
    "            raise\n",
    "    return corpus"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "path = '../data/chinese-novels'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "corpus = build_corpus(path)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "461"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(corpus)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "vectorizer = TfidfVectorizer()\n",
    "tfidf = vectorizer.fit_transform(corpus)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<461x130144 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 532032 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "words_tfidf = tfidf.transpose()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<130144x461 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 532032 stored elements in Compressed Sparse Column format>"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "words_tfidf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(array([0]), array([415]))"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.where(words_tfidf[0].toarray() != 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['龟山', '龟相', '龟纽', '龟背', '龟蛇', '龟蛇失', '龟蛇生', '龟鉴', '龟长', '龟鳖']"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vectorizer.get_feature_names()[-10:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "24898"
      ]
     },
     "execution_count": 79,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vectorizer.vocabulary_['刺史']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "128992"
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vectorizer.vocabulary_['鸣金']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(array([  0,   2,   7,  22,  39,  44,  70,  74,  84,  88, 109, 120, 128,\n",
       "        134, 142, 203, 209, 216, 220, 225, 232, 238, 259, 261, 276, 285,\n",
       "        287, 302, 322, 342, 350, 368, 373, 380, 426, 433, 440]),)"
      ]
     },
     "execution_count": 80,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.where(words_tfidf[24898].toarray()[0] != 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(array([  1,  41,  47,  82, 112, 131, 184, 250, 275, 285, 297, 313, 323,\n",
       "        331, 334, 361, 422, 441]),)"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.where(words_tfidf[128992].toarray()[0] != 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0.0331359 , 0.        , 0.01414119, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.01238401, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.0152932 , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.01308649,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.03733813,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.01344691, 0.        , 0.        , 0.        , 0.02158337,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.04451059,\n",
       "        0.        , 0.        , 0.        , 0.00336569, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.01508704,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.00927606, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.02532781, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.01297239,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.02544039, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.06816446, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.01195773,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.01418541, 0.        , 0.        , 0.        ,\n",
       "        0.01329565, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.02499425, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.03147164, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.04145055, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.01242209,\n",
       "        0.        , 0.0100391 , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.01100343, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.01819479, 0.        , 0.11463828, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.01417048, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.01725766, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.23550354, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.01267718, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.01126823, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.01300565, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.01738044, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.01161794, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.01071062, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.04660965, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        ],\n",
       "       [0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.01122818, 0.08595291, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.08217312, 0.        ,\n",
       "        0.        , 0.        , 0.07129622, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.07370782, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.07592659, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.02192669, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.1930641 , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.17742336, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.03901379, 0.        , 0.        ,\n",
       "        0.        , 0.12853669, 0.00998803, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.01508258, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.02031765, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.04089235, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.0566569 , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.08950393, 0.        , 0.        ,\n",
       "        0.        , 0.03276478, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.04419661, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.02464924,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.02280361, 0.        , 0.        , 0.        ,\n",
       "        0.03223385, 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.07645839, 0.0094548 , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.00655142, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.04517913, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.1869202 ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.09085042, 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.097735  , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.01066486, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.01208484,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.11558978, 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.02177757,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.00895783, 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.01201583, 0.        , 0.        , 0.        ,\n",
       "        0.04313185, 0.0210229 , 0.        , 0.        , 0.        ,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.12575937,\n",
       "        0.        , 0.        , 0.        , 0.        , 0.        ,\n",
       "        0.        ]])"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "words_tfidf[[24898, 35233]].toarray()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [],
   "source": [
    "doc1 = set(np.where(words_tfidf[24898].toarray()[0])[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "doc2 = set(np.where(words_tfidf[128992].toarray()[0])[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{285}"
      ]
     },
     "execution_count": 84,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "doc1 & doc2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [],
   "source": [
    "docs = [set(np.where(words_tfidf[i].toarray()[0])[0]) for i in (24898, 128992)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{0,\n",
       "  2,\n",
       "  7,\n",
       "  22,\n",
       "  39,\n",
       "  44,\n",
       "  70,\n",
       "  74,\n",
       "  84,\n",
       "  88,\n",
       "  109,\n",
       "  120,\n",
       "  128,\n",
       "  134,\n",
       "  142,\n",
       "  203,\n",
       "  209,\n",
       "  216,\n",
       "  220,\n",
       "  225,\n",
       "  232,\n",
       "  238,\n",
       "  259,\n",
       "  261,\n",
       "  276,\n",
       "  285,\n",
       "  287,\n",
       "  302,\n",
       "  322,\n",
       "  342,\n",
       "  350,\n",
       "  368,\n",
       "  373,\n",
       "  380,\n",
       "  426,\n",
       "  433,\n",
       "  440},\n",
       " {1,\n",
       "  41,\n",
       "  47,\n",
       "  82,\n",
       "  112,\n",
       "  131,\n",
       "  184,\n",
       "  250,\n",
       "  275,\n",
       "  285,\n",
       "  297,\n",
       "  313,\n",
       "  323,\n",
       "  331,\n",
       "  334,\n",
       "  361,\n",
       "  422,\n",
       "  441}]"
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {},
   "outputs": [],
   "source": [
    "docs = reduce(lambda x, y: x & y, docs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{285}"
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "docs"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Show search result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "====================================================================================================\n",
      "第四十八回 · 宴 长江 曹操 赋诗         锁 战船 北 军用 武 \n",
      " \n",
      "         却说 庞统 闻言 ， 吃 了 一惊 ， 急 回视 其人 ， 原来 却是 徐庶 。 统见 是 故人 ， 心 下方 定 。 回顾 左右 无人 ， 乃曰 ： “ 你 若 说破 我计 ， 可惜 江南 八十一 州 百姓 ， 皆 是 你 送 了 也 ！ ” 庶笑 曰 ： “ 此间 八十三万 人马 ， 性命 如何 ？ ” 统曰 ： “ 元直 真欲破 我 计耶 ？ ” 庶 曰 ： “ 吾 感 刘皇叔 厚恩 ， 未尝 忘报 。 曹操 送死 吾 母 ， 吾 已 说 过 终身 不设 一谋 ， 今 安肯 破兄 良策 ？ 只是 我 亦 随军 在 此 ， 兵败 之后 ， 玉石不分 ， 岂能 免难 ？ 君当教 我 脱身 之术 ， 我 即 缄口 远避 矣 。 ” 统笑 曰 ： “ 元直 如此 高见远识 ， 谅此 有 何难哉 ！ ” 庶 曰 ： “ 愿 先生 赐教 。 ” 统去 徐庶 耳边 略 说 数句 。 庶 大喜 ， 拜谢 。 庞统别 却 徐庶 ， 下船 自回 江东 。 \n",
      " \n",
      "         且说 徐庶 当晚 密使 近人 去 各寨 中 暗布 谣言 。 次日 ， 寨 中 三三五五 ， 交头接耳 而 说 。 早有 探事人 报知 曹操 ， 说 ： “ 军中 传言 西凉州 韩遂 、 马腾 谋反 ， 杀 奔 许都 来 。 ” 操大惊 ， 急 聚众 谋士 商议 曰 ： “ 吾 引兵 南征 ， 心中 所忧者 ， 韩遂 、 马腾 耳 。 军中 谣言 ， 虽未 辨 虚实 ， 然 不可不 防 。 ” 言 未 毕 ， 徐庶 进 曰 ： “ 庶 蒙丞相 收录 ， 恨 无 寸功 报效 。 请 得 三千 人马 ， 星夜 往散关 把住 隘口 ； 如 有 紧急 ， 再行 告报 。 ” 操喜 曰 ： “ 若得元 直去 ， 吾 无忧 矣 ！ 散关 之上 ， 亦 有 军兵 ， 公 统领 之 。 目下 拨 三千 马步军 ， 命 臧霸 为 先锋 ， 星夜 前去 ， 不可 稽迟 。 ” 徐庶 辞 了 曹操 ， 与 臧霸 便行 。 此 便是 庞统 救 徐庶 之计 。 后人 有 诗 曰 ： “ 曹操 征南 日日 忧 ， 马腾 韩 遂 起 戈矛 。 凤雏 一语 教 徐庶 ， 正似 游鱼 脱 钓钩 。 ” 曹操 自遣 徐庶 去 后 ， 心中 稍安 ， 遂 上马 先看 沿江 旱寨 ， 次 看 水寨 。 乘 大船 一只 于 中央 ， 上建 “ 帅 ” 字 旗号 ， 两傍皆列 水寨 ， 船上 埋伏 弓弩 千张 。 操 居于 上 。 时 建安 十三年 冬 十一月 十五日 ， 天气 晴明 ， 平风静浪 。 操令 ： “ 置酒 设 乐于 大船 之上 ， 吾 今夕 欲会 诸 将 。 ” 天色 向晚 ， 东山 月 上 ， 皎 皎 如同 白日 。 长江 一带 ， 如横素 练 。 操坐 大船 之上 ， 左右 侍 御者 数百人 ， 皆 锦衣 绣 袄 ， 荷 戈执戟 。 文武 众官 ， 各 依次 而 坐 。 操见 南屏山 色如画 ， 东视 柴桑之境 ， 西观 夏口 之江 ， 南望 樊山 ， 北觑 乌林 ， 四顾 空阔 ， 心中 欢喜 ， 谓 众官 曰 ： “ 吾 自 起义 兵 以来 ， 与 国家 除 凶 去 害 ， 誓愿 扫清 四海 ， 削平 天下 ； 所未 得者 江南 也 。 今吾有 百万雄师 ， 更赖 诸公 用命 ， 何患 不 成功 耶 ！ 收服 江南 之后 ， 天下 无 事 ， 与 诸公 共享 富贵 ， 以乐 太平 。 ” 文武 皆 起谢 曰 ： “ 愿得 早 奏凯歌 ！ 我 等 终身 皆 赖 丞相 福荫 。 ” 操大喜 ， 命 左右 行 酒 。 饮至 半夜 ， 操酒 酣 ， 遥指 南岸 曰 ： “ 周瑜 、 鲁肃 ， 不 识 天时 ！ 今幸 有 投降 之 人 ， 为 彼 心腹之患 ， 此天助 吾 也 。 ” 荀 攸 曰 ： “ 丞相 勿言 ， 恐有 泄漏 。 ” 操 大笑 曰 ： “ 座 上 诸公 ， 与 近侍 左右 ， 皆 吾 心腹 之人 也 ， 言 之 何碍 ！ ” 又 指夏口 曰 ： “ 刘备 、 诸葛亮 ， 汝 不料 蝼蚁 之力 ， 欲撼 泰山 ， 何其 愚耶 ！ ” 顾谓诸 将 曰 ： “ 吾 今年 五十四岁 矣 ， 如得 江南 ， 窃 有所 喜 。 昔日 乔公 与 吾 至 契 ， 吾 知 其二 女皆有 国色 。 后 不料 为 孙策 、 周瑜 所 娶 。 吾 今新构 铜雀 台于 漳水 之上 ， 如得 江南 ， 当娶 二乔 ， 置 之 台上 ， 以娱 暮年 ， 吾 愿 足矣 ！ ” 言 罢 大笑 。 唐人 杜牧之 有 诗 曰 ： “ 折戟沉沙 铁未消 ， 自将 磨洗 认 前朝 。 东风 不 与 周郎 便 ， 铜雀春 深锁 二乔 。 ” 曹操 正 笑谈 间 ， 忽闻 鸦 声望 南 飞鸣 而 去 。 操问 曰 ； “ 此鸦 缘何 夜鸣 ？ ” 左右 答 曰 ： “ 鸦见 月 明 ， 疑是 天晓 ， 故离 树而鸣 也 。 ” 操 又 大笑 。 时操 已醉 ， 乃取 槊 立于 船头 上 ， 以酒 奠于 江中 ， 满饮 三爵 ， 横槊谓 诸 将 曰 ： “ 我持 此 槊 ， 破 黄巾 、 擒 吕布 、 灭 袁术 、 收 袁绍 ， 深入 塞北 ， 直抵 辽东 ， 纵横天下 ： 颇 不负 大丈夫 之志 也 。 今 对此 景 ， 甚有 慷慨 。 吾 当作 歌 ， 汝 等 和 之 。 ” 歌 曰 ： “ 对酒当歌 ， 人生 几何 ： 譬如 朝露 ， 去 日苦 多 。 慨当以慷 ， 忧思 难忘 ； 何以 解忧 ， 惟有 杜康 。 青青 子 衿 ， 悠悠 我心 ； 但 为 君故 ， 沉吟 至今 。 呦 呦 鹿鸣 ， 食野之苹 ； 我 有 嘉宾 ， 鼓瑟 吹笙 。 皎 皎 如 月 ， 何时 可 辍 ？ 忧 从中 来 ， 不可 断绝 ！ 越 陌度 阡 ， 枉用 相存 ； 契阔 谈宴 ， 心念 旧恩 。 月明星稀 ， 乌鹊 南飞 ； 绕树 三 匝 ， 无枝 可依 。 山 不厌 高 ， 水 不厌 深 ： 周公吐哺 ， 天下归心 。 ” 歌 罢 ， 众 和 之 ， 共 皆 欢笑 。 忽座间 一人进 曰 ： “ 大军 相当 之际 ， 将士用命 之 时 ， 丞相 何故 出此 不 吉之言 ？ ” 操视 之 ， 乃 扬州 ########刺史######## ， 沛国 相人 ， 姓 刘 ， 名馥 ， 字元颖 。 馥起 自合 淝 ， 创立 州治 ， 聚 逃散 之民 ， 立 学校 ， 广 屯田 ， 兴 治教 ， 久事 曹操 ， 多立 功绩 。 当下 操横 槊 问 曰 ： “ 吾 言 有 何不 吉 ？ ” 馥 曰 ： “ 月明星稀 ， 乌鹊 南飞 ； 绕树 三 匝 ， 无枝 可依 。 此 不 吉之言 也 。 ” 操大怒 曰 ： “ 汝安敢 败吾兴 ！ ” 手起 一 槊 ， 刺死 刘馥 。 众 皆 惊骇 。 遂 罢宴 。 次日 ， 操 酒醒 ， 懊恨 不已 。 馥子 刘熙 ， 告请 父尸 归葬 。 操泣 曰 ： “ 吾 昨因 醉 误伤 汝父 ， 悔之无及 。 可以 三公 厚礼 葬 之 。 ” 又 拨 军士 护送 灵柩 ， 即日 回葬 。 \n",
      " \n",
      "         次日 ， 水军 都督 毛 玠 、 于 禁诣 帐 下 ， 请 曰 ： “ 大小 船只 ， 俱 已 配搭 连锁 停当 。 旌旗 战具 ， 一一 齐备 。 请 丞相 调遣 ， 克日 进兵 。 ” 操至 水军 中央 大战 船上 坐定 ， 唤集 诸 将 ， 各 各 听令 。 水旱 二军 ， 俱分 五色旗 号 ： 水军 中央 黄旗 毛 玠 、 于禁 ， 前 军 红旗 张 郃 ， 后 军皂旗 吕 虔 ， 左军青 旗文聘 ， 右 军 白旗 吕通 ； 马步 前 军 红旗 徐晃 ， 后 军皂旗 李典 ， 左军青 旗 乐进 ， 右 军 白旗 夏侯渊 。 水陆 路 都 接应 使 ： 夏侯惇 、 曹洪 ； 护卫 往来 监战 使 ： 许褚 、 张 辽 。 其余 骁将 ， 各依 队伍 。 令毕 ， 水军 寨 中 发擂 三通 ， 各 队伍 战船 ， 分门 而 出 。 是 日 西北风 骤起 ， 各船 拽 起 风帆 ， 冲波 激浪 ， 稳如 平地 。 北军 在 船上 ， 踊跃 施勇 ， 刺枪 使 刀 。 前后左右 各军 ， 旗幡 不杂 。 又 有 小船 五十余只 ， 往来 巡警 催督 。 操 立于 将 台 之上 ， 观看 调练 ， 心中 大喜 ， 以为 必胜 之 法 ； 教且 收住 帆幔 ， 各 依次 序回 寨 。 \n",
      " \n",
      "         操 升帐 谓 众 谋士 曰 ： “ 若非 天命 助吾 ， 安得 凤雏 妙计 ？ 铁索 连舟 ， 果然 渡江 如履平地 。 ” 程昱 曰 ： “ 船 皆 连锁 ， 固是 平稳 ； 但 彼若用 火攻 ， 难以 回避 。 不可不 防 。 ” 操 大笑 曰 ： “ 程仲德 虽有 远虑 ， 却 还有 见 不 到处 。 ” 荀 攸 曰 ： “ 仲德之 言 甚 是 。 丞相 何故 笑 之 ？ ” 操 曰 ： “ 凡用 火攻 ， 必藉 风力 。 方 今 隆冬 之际 ， 但 有 西风 北风 ， 安有 东风 南风 耶 ？ 吾 居于 西北 之上 ， 彼兵 皆 在 南岸 ， 彼若用 火 ， 是 烧 自己 之兵 也 ， 吾 何惧哉 ？ 若 是 十月 小春 之 时 ， 吾 早已 提备 矣 。 ” 诸 将 皆 拜伏 曰 ： “ 丞相 高见 ， 众人 不及 。 ” 操顾 诸 将 曰 ： “ 青 、 徐 、 燕 、 代之众 ， 不惯 乘舟 。 今非 此计 ， 安能涉 大江 之险 ！ ” 只见 班部 中 二 将 挺身 出 曰 ： “ 小将 虽幽 、 燕之人 ， 也 能乘舟 。 今愿 借 巡船 二十只 ， 直至 江口 ， 夺 旗鼓 而 还 ， 以显 北军 亦 能乘舟 也 。 ” 操视 之 ， 乃 袁绍 手下 旧 将 焦触 、 张南 也 。 操 曰 ： “ 汝 等 皆 生长 北方 ， 恐乘舟 不便 。 江南 之兵 ， 往来 水上 ， 习练 精熟 ， 汝勿 轻以 性命 为 儿戏 也 。 ” 焦触 、 张南 大叫 曰 ： “ 如其 不胜 ， 甘受 军法 ！ ” 操 曰 ： “ 战船 尽 已 连锁 ， 惟有 小舟 。 每舟 可容 二十 人 ， 只恐 未便 接战 。 ” 触 曰 ： “ 若用 大船 ， 何足为奇 ？ 乞付 小舟 二十余只 ， 某 与 张南 各引 一半 ， 只 今日 直抵 江南 水寨 ， 须要 夺旗 斩 将 而 还 。 ” 操 曰 ： “ 吾 与 汝 二十只 船 ， 差拨 精锐 军 五百 人 ， 皆 长枪 硬 弩 。 到来 日 天明 ， 将 大寨 船出 到 江面 上 ， 远为 之势 。 更差 文聘亦领 三十只 巡船 接应 汝回 。 ” 焦触 、 张南 欣喜 而 退 。 \n",
      " \n",
      "         次日 ， 四 更 造饭 ， 五更 结束 已 定 ， 早 听 得 水寨 中 擂鼓########鸣金######## 。 船皆出 寨 ， 分布 水面 ， 长江 一带 ， 青 红旗 号 交杂 。 焦触 、 张南 领哨 船 二十只 ， 穿 寨 而 出 ， 望江南 进发 。 却说 南岸 隔夜 听得 鼓声 喧震 ， 遥望 曹操 调练 水军 ， 探事人 报知 周瑜 。 瑜 往 山顶 观之 ， 操军 已 收回 。 次日 ， 忽 又 闻 鼓声 震天 ， 军士 急 登高 观望 ， 见 有 小船 冲波 而 来 ， 飞报 中军 。 周瑜 问帐 下 ： “ 谁 敢 先出 ？ ” 韩当 、 周泰 二人 齐出 曰 ： “ 某 当权 为 先锋 破敌 。 ” 瑜 喜 ， 传令 各寨 严加 守御 ， 不可 轻动 。 韩当 、 周泰 各 引哨 船 五只 ， 分 左右 而出 。 却说 焦触 、 张南 凭 一勇 之气 ， 飞 棹 小船 而 来 。 韩当 独披 掩心 ， 手执 长枪 ， 立于 船头 。 焦触 船先 到 ， 便命 军士 乱箭 望 韩当 船上 射 来 。 当用 牌 遮 隔 。 焦触 捻 长枪 与 韩当 交锋 。 当手 起 一枪 ， 刺 死 焦触 。 张南 随后 大叫 赶来 。 隔斜里 周泰船 出 。 张南 挺 枪 立于 船头 ， 两边 弓矢 乱射 。 周泰 一臂 挽牌 ， 一 手提 刀 ， 两船 相离 七八尺 ， 泰即 飞身 一跃 ， 直 跃过 张南 船上 ， 手起刀落 ， 砍 张南于 水中 ， 乱 杀 驾舟 军士 。 众船 飞 棹 急 回 。 韩当 、 周泰 催船 追赶 ， 到 半 江中 ， 恰 与 文聘船 相迎 。 两边 便 摆定 船 厮杀 。 却说 周瑜 引 众将 立于 山顶 ， 遥望 江北 水面 艨艟 战船 ， 排 合江 上 ， 旗帜 号 带 ， 皆 有 次序 。 回看 文聘 与 韩当 、 周泰 相持 ， 韩当 、 周泰 奋力 攻击 ， 文聘 抵 敌不住 ， 回船 而 走 ， 韩 、 周二 人 ， 急 催船 追赶 。 周瑜恐 二人 深入 重地 ， 便 将 白旗 招 飐 ， 令众 ########鸣金######## 。 二人 乃挥 棹 而 回 。 周瑜 于 山顶 看隔江 战船 ， 尽入 水寨 。 瑜 顾谓众 将 曰 ： “ 江北 战船 如 芦苇 之密 ， 操 又 多谋 ， 当 用 何计 以破 之 ？ ” 众 未及 对 ， 忽见 曹军寨 中 ， 被 风吹 折 中央 黄旗 ， 飘入 江中 。 瑜 大笑 曰 ： “ 此 不祥之兆 也 ！ ” 正观 之际 ， 忽 狂风 大作 ， 江中 波涛 拍岸 。 一阵风 过 ， 刮起 旗角于 周瑜 脸上 拂过 。 瑜 猛然 想起 一事 在 心 ， 大叫 一声 ， 往后 便 倒 ， 口吐 鲜血 。 诸 将 急救 起时 ， 却 早 不省人事 。 正是 ： 一时 忽笑 又 忽 叫 ， 难使 南军 破 北军 。 \n",
      " \n",
      "         毕竟 周瑜 性命 如何 ， 且 看 下文 分解 。 \n",
      " \n",
      "\n"
     ]
    }
   ],
   "source": [
    "for doc_idx in docs:\n",
    "    print('=' * 100)\n",
    "    content = corpus[doc_idx]\n",
    "    pat = re.compile('(刺史|鸣金)')\n",
    "    content = pat.sub('########\\g<1>########', content)\n",
    "    print(content)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}