青空文庫の本文をpythonで抽出する

前提知識
・python

■青空文庫とは
青空文庫とは、著作権が切れた作品や著者からの承諾を得た作品を、web上で無料公開しているサイトのことです。 作品そのものを楽しむことはもちろん、ビッグデータとして機械学習などにも用いられ、様々な分析対象とされる場合もあります。

ここでは、青空文庫のデータをpythonに読み込ませる方法を説明します。

■青空文庫の文章構造
青空文庫のサイトに行って、zipファイルをダウンロード/解凍して所定のフォルダに置きます。

テキスト文書の中身は以下の様になっております。見出しと本文の部分のみ抽出したいので、タイトルや注釈部分、本文中にもある振り仮名、および巻末を削除する必要があります。



■pythonによる実装例
以下のどおり。ファイルを読み込む時点でエラーが出る場合は、エンコード方式をほかの形式(utf-8やshift-JISなど)に変えてみてください。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー ソフトウェア アルゴリズムの計算量 ホーナー法 二分探索法 プログラムとスクリプト モデルベース開発 ValidationとVerification アジャイルとウォーターフォール ブートローダ DX ブロックチェーン 情報エントロピー 暗号化技術 ・エンコード,デコード ・ハッシュ関数 ・暗号化の仕組み 自然言語処理 ・青空文庫の本文抽出 ・形態素解析 ・単語にIDを付与し辞書作成 ・Bag Of Words(BOW) ・Word2Vec 画像処理 ・画像フィルタ ・アフィン変換 スクレイピング ・スクレイピングとは ・webの画像ダウンロード ・malformed AAC bitstream