カテゴリー
プログラミング

指定したバイト数分だけ文字列を切り出す (Python3)

はじめに データ連携などでエクスポート機能などを実装するとき、特定のバイト数まで切り詰める処理が必要になる事があります。データがASCII文字だけで構成されていれば簡単なのですが、日本語などのマルチバイト文字が含まれてい […]

カテゴリー
プログラミング

Pythonパッケージをpipコマンドで一括インストールする

はじめに 新規に作成する Python アプリケーション、あるいはすでに稼働している Python アプリケーションの依存パッケージを確認して、別の環境にコピーしたい事があります。今回、必要なパッケージを洗い出して re […]

カテゴリー
プログラミング

MeCab と mecab-ipadic-NEologd と Python3 で形態素解析

はじめに 文章の機械学習、といっても大まかすぎるのですが、文章を対象とするデータ解析には単語に分割したものを機械学習モデルの入力とする、という手法がいくつかあります。 英語の場合は単語はほとんどがスペース区切りになってい […]

カテゴリー
プログラミング

Matplotlibサンプル 試行回数と平均値への収束

はじめに Matplotlibで簡単なグラフ描画を試してみたいと思います。機械学習で学習の進み具合をプロットするためにも、プロットの簡単な方法をマスターしておきたいと思います。 実験 今回、0と1が4:6で混ざっている抽 […]

カテゴリー
ソフトウェア

機械学習のためのPython実行環境構築

はじめに 機械学習のための基礎知識や簡単な分析、実験をするにあたり、数値計算ライブラリやニューラルネットワークフレームワークなどを利用したいのですが、このあたりのライブラリが充実しており、またソースコードが見やすい(疑似 […]

カテゴリー
プログラミング

Matplotlib で no display name and no $DISPLAY environment variable が発生する

はじめに CentOS7 上で Python 3.5.2 + Matplotlib 1.5.1 の環境で使用中、下記コードの2行目でエラーが発生しました。 対応 MatplotlibはGUI環境で実行されることをデフォル […]

カテゴリー
インフラ プログラミング

任意のホストからAWS SDKを使ってS3へファイルをアップロードする

はじめに AWS上に構築したシステムに、システム外の外部ホストからファイルをアップロードするような業務はよくあると思います。やっていることは単純なのですが、ちょっとした手順になりますのでまとめておきます。なお、今回は A […]

カテゴリー
ソフトウェア

Python venv 環境構築

はじめに Python でプログラムを作成するとき、あるいはデプロイするとき、プロジェクトに応じて都度外部のパッケージを使用する事が多いと思います。また、1つのホストに複数のプロジェクトをデプロイすることもよくあると思い […]

カテゴリー
プログラミング

MongoDB 操作&プログラミング事始め

はじめに MongoDB のシェルを使った基本的な操作を紹介したあと、Python プログラムを使って目的のデータを検索したりデータを追加したりするサンプルを紹介します。 Mongo シェルによる基本操作 Mongo シ […]