タグ別アーカイブ: 機械学習

MeCab と mecab-ipadic-NEologd と Python3 で形態素解析(ユーザーローカル環境版)

はじめに

 MeCabをユーザーのローカル環境にインストールする必要があり、手順をまとめてみました。gccやmakeは必要になりますので、最低限のコマンドだけはroot権限でインストールしておく必要があります。もしroot権限(sudoコマンドを実行できる権限)があればホストのグローバル環境にインストールできます。グローバル環境にインストールする場合はこちらの投稿を参照してください。

続きを読む

MeCab と mecab-ipadic-NEologd と Python3 で形態素解析

はじめに

 文章の機械学習、といっても大まかすぎるのですが、文章を対象とするデータ解析には単語に分割したものを機械学習モデルの入力とする、という手法がいくつかあります。
 英語の場合は単語はほとんどがスペース区切りになっているので特別な解析器がなくともなんとかなるのですが、日本語の場合はスペースはありませんし、単語でも活用があったりと簡単に分割することができません。そこで、日本語向けの解析器 MeCab (GitHub) を使って文章を単語に区切ってみたいと思います。解析器には日本語辞書が必要で、デフォルトで mecab-ipadic が付属しています。今回、Web 上にある文章の解析にも対応できるようにと、月2回程度更新されているという日本語辞書 mecab-ipadic-NEologd (GitHub) も追加でインストールしたいと思います。
 最後に、Python3 プログラムで簡単な分かち書きプログラムを作成して動作確認をします。

続きを読む

機械学習のためのPython実行環境構築

はじめに

 機械学習のための基礎知識や簡単な分析、実験をするにあたり、数値計算ライブラリやニューラルネットワークフレームワークなどを利用したいのですが、このあたりのライブラリが充実しており、またソースコードが見やすい(疑似コードに似ている)という点でPythonを選びました。
 今回、手を動かしながらデータ操作、グラフへのプロットなどを進められるよう、Ubuntu14.04LTS GUI環境でのインストール手順をまとめました。

続きを読む