カテゴリー
プログラミング

MeCab と mecab-ipadic-NEologd と Python3 で形態素解析

はじめに 文章の機械学習、といっても大まかすぎるのですが、文章を対象とするデータ解析には単語に分割したものを機械学習モデルの入力とする、という手法がいくつかあります。 英語の場合は単語はほとんどがスペース区切りになってい […]

カテゴリー
プログラミング

算術記号とTensorFlow関数の対応

はじめに 数式をTensorFlowのモデルとして記述する際、演算記号がTensorFlowのどのAPIに対応しているかをまとめてみました。 演算対象のテンソル\(x\)の定義 \[x_{i,j}= \begin{pma […]

カテゴリー
プログラミング

Matplotlibサンプル 試行回数と平均値への収束

はじめに Matplotlibで簡単なグラフ描画を試してみたいと思います。機械学習で学習の進み具合をプロットするためにも、プロットの簡単な方法をマスターしておきたいと思います。 実験 今回、0と1が4:6で混ざっている抽 […]

カテゴリー
プログラミング

Matplotlib で no display name and no $DISPLAY environment variable が発生する

はじめに CentOS7 上で Python 3.5.2 + Matplotlib 1.5.1 の環境で使用中、下記コードの2行目でエラーが発生しました。 対応 MatplotlibはGUI環境で実行されることをデフォル […]

カテゴリー
プログラミング

AWS Lambda で Node.js 4.3 の Promise を使ってみた

はじめに AWS Lambda から DynamoDB や S3 にアクセスするときなど、SDK の非同期呼出しのおかげで同期的に処理させるようなコードを書くとコールバック地獄に陥るのは有名な話です。 Node.js 4 […]

カテゴリー
インフラ プログラミング

任意のホストからAWS SDKを使ってS3へファイルをアップロードする

はじめに AWS上に構築したシステムに、システム外の外部ホストからファイルをアップロードするような業務はよくあると思います。やっていることは単純なのですが、ちょっとした手順になりますのでまとめておきます。なお、今回は A […]

カテゴリー
プログラミング

MongoDB select count (distinct x) on an indexed column への対処

はじめに MongoDB で大量のデータに対して distinct 関数を実行したとき、エラー「MongoDB select count(distinct x) on an indexed column」が発生することが […]

カテゴリー
プログラミング

Node.js (Server API) と React + Flux (Client) で CSRF 対策

はじめに 前回は機能だけ満足するよう実装しましたが、POST、PUT、DELETE といったサーバー側のデータを変更するようなリクエストを受け付けるには CSRF 対策が欠かせません。今回は、前回のカウントアップアプリに […]

カテゴリー
プログラミング

Node.js (Server API) と React + Flux (Client) でカウントアップアプリ作成

はじめに JS によるクライアントサイドのフレームワーク界隈では、Backbone.js や AngularJS、vue.js などいろいろと選択することができます。どのフレームワークを選択するかでにぎやかな界隈です。 […]

カテゴリー
プログラミング

MongoDB 操作&プログラミング事始め

はじめに MongoDB のシェルを使った基本的な操作を紹介したあと、Python プログラムを使って目的のデータを検索したりデータを追加したりするサンプルを紹介します。 Mongo シェルによる基本操作 Mongo シ […]