(VPSでつくる) Python仮想環境venvの導入

連載第五回目です。

前回の4. Pythonのバージョンを3.Xにする記事で、Pythonのバージョン管理をディレクトリごとに行えるようになりました。

ただし、アプリごとにモジュールのバージョンは変えることができません。
特に、機械学習や統計学関係だとモジュールを変える必要がたまにあります。
そのため、今回はvenvを使って、アプリごとにモジュールの管理を行えるような環境を作りましょう。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
その他については上記ページをお読みください。

1. 環境の確認

3. NginxでHello Worldで簡単に確認した内容を再確認します。
今回確認したいのは、Nginxの公開ディレクトリ関連のフォルダです。

パス 説明
/etc/nginx/ Nginxの設定ファイルが色々と入っている
/etc/nginx/nginx.conf Nginx設定ファイル
/var/log/nginx/ ログ保存ディレクトリ
/usr/share/nginx/html/ WEBサイトの公開ディレクトリ

なぜかというと、「アプリをどのディレクトリに入れて、どの仮想環境で実行するか」を系統立てて決めておいた方が後の管理が楽だからです。

今回構想しているディレクトリ構成は以下の通りです。

/usr/share/nginx
 ┗ app アプリ用ディレクトリ
 | ┗ アプリA
 | ┗ アプリB
 | ┗ アプリC
 ┗ venv 仮想環境用ディレクトリ
 | ┗ アプリA用環境
 | ┗ アプリB&C用環境
 ┗ html 静的ファイル設置用

そのため、以降は上記に従ってアプリAを動かせるようなアプリA用環境を作っていきます。
そのために、まずは基本的なディレクトリを作っておきます。

mkdir /usr/share/nginx/app
mkdir /usr/share/nginx/venv

2. venv環境の作成

まずは、アプリA用環境のためのディレクトリを作成します。

mkdir /usr/share/nginx/venv/app_a

下記コマンドで仮想環境を作成します。

python -m venv /usr/share/nginx/venv/app_a

※完了した表示は一切出ませんが、エラーが出なければ問題ないです。

3. venv環境の利用

venv環境をアクティブにします。

source /usr/share/nginx/venv/app_a/bin/activate

アクティブ化に成功すると、下記のように(環境名)[ログインユーザー名@ログイン場所 ディレクトリ名]が表示されます。

仮想環境を使うことで、その環境内でインストールしたPythonモジュールはその環境内でのみ有効となります。
どこまでがアプリA用の環境であるのか区分がはっきりするので非常に扱いやすくなります。

仮想環境内でpythonインタプリタを実行する場合は下記コマンドを使用します。

python

pythonファイルを実行する場合は下記コマンドを使用します。

python XXX.py

仮想環境を非アクティブ化するには下記コマンドを使用します。

deactivate

その他の詳細はvenv公式サイトをご覧ください。

おわりに

今回はvenvを使い、モジュールの管理を簡単にすることができました。
しかし、今の状態ではNginx(Webサーバー)上で動的なサイトを表示することはできません。
そのため、次回はNginx Unit(APサーバー)を用いて、簡単なPythonアプリを作成してWebサイトで公開してみましょう!

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
次は、6. Nginx Unit+venv+FlaskでHello Worldです。

(VPSでつくる) Pythonのバージョンを2.7.5から3.6.8にする

連載第四回目です。
CentOS7にインストールされているPythonのバージョンが2.7なので、バージョンアップをします。

そうしないとPythonのアプリが動きません。
なぜなら、Python2と3はプログラムの記法が違います。そりゃ動かないですよね。。

今回はpyenvを使ってPythonのバージョンを上げます。
バージョンはNginx Unitで使われている3.6.8を利用します。
3.6.8以外にする場合は、Dockerコンテナ等別途準備が必要です。(参考ページ)

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
その他については上記ページをお読みください。

1. pyenvのインストール

まずは、Pythonのバージョンを確認します。
2.X.Xだと思います。

python -V # python --version も可

※もし3.X.Xになっている場合は下記工程は不要です。

続いてgitをインストールします。

sudo yum install git

pyenvのインストールを実施します。

curl https://pyenv.run | bash

実は、ウラで下記のようなコマンドが実行されています。(公式サイトより)
gitをインストールすることで、このコマンドを有効にできます。

curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash

※上記のインストール後に、下記工程で入力すべき文字列(*1)が表示されるので参考にしてください。

続いて、シェルの起動時にpyenvを自動的に起動するようにしておきましょう。
ファイル~/.bashrcを下記コマンドで開いてください。

vi ~/.bashrc

最後に、~/.bashrcの内容に次の文字列(*1)を追記(赤枠)します。

export PATH="/root/.pyenv/bin:$PATH"
eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"


※PATHの/root/部位が環境によって異なる場合があります。ご注意ください。

※シェルを再起動させた時、WARNINGが出る場合は2行目をeval “$(pyenv init –path)”に変換してみてください。
(参考:pyenv(Github) issue #1906)

シェルを再起動させます。
上記の変更が反映され、pyenvが使えるようになります。

exec $SHELL

確認のため、pyenvのバージョンを表示してください。
問題なくインストールされていれば、下記コマンドでバージョンが表示されます。

pyenv --version

2. Python3のインストール

まずは、Python3をインストールする前に、Python3に必要なモジュールをインストールします。

sudo yum install zlib-devel libffi-devel openssl-devel

続いて、インストールできるバージョンを確認します。
もしPython3.6.8以外を選ぶ場合はこちらの手順を参考にしてください。

pyenv install -l

それでは、指定されたバージョン(3.6.8)をインストールします。

pyenv install 3.6.8

少し時間が掛かるので注意が必要です。フリーズしているわけではありません。

それでは、インストールされたかどうかを確認します。
今回指定したバージョンが出力されればOKです。

pyenv versions

3. Python3に切り替える

Python2から3に切り替えます。

まずは現在のバージョンを確認します。
何もしていなければ2.7.5から変わっていないはずです。

python -V

続いて、下記でPythonのバージョンをGlobal環境で切り替えます。

pyenv global 3.6.8

※local(指定ディレクトリ以下)も可能です。

3.6.8に変わっているか確認します。

python -V

変わっていれば終了です!
おつかれさまでした。

追加でPIP(Pythonのパッケージ管理ソフト)をアップグレードをしておいてください。

pip install --upgrade pip

アップグレードしておかないと、必要なモジュールをインストールできない時があります。

おわりに

今回の方法以外で、venvを使わずにPython2と3を同じ環境に入れて切り替える方法もありますが、かなり面倒だったので今回はこちらの方法を使いました。

もし、Pythonで使いたいバージョンやモジュールのバージョンの組み合わせが複数通りあると困りますよね?
Pythonのバージョンだけなら、指定ディレクトリでpyenv local 3.X.Xのコマンドを打てばいいのですが、それではモジュールのバージョンは管理しきれません。
そのために、次は各々のアプリ用のモジュールバージョン管理用にvenvを導入していきます。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
次は、5. Python仮想環境venvの導入です。

(VPSでつくる) NginxでHello World

連載第三回目です。
WebサーバーであるNginxをインストールして、オンライン上でアクセスしてみましょう。

今回の工程で、オンラインからWebサイトの閲覧が可能になります。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
その他については上記ページをお読みください。

Nginxの選定理由

Apacheより処理速度が速く、複数アクセスに耐えやすいからです。
詳しくは、【入門】Nginx(エンジンエックス)とは?Apacheとの違いと初期設定をご覧ください。

1. Nginxのインストール準備

Nginx 公式サイトを参考に進めます。

まずは、VPSサーバーへログインします。

Nginxは公式でリポジトリを公開しているので、yumコマンドでインストールするための準備を行います。
まず、ファイル作成+エディタを開くコマンドを下記で行います。

sudo vi /etc/yum.repos.d/nginx.repo

viエディタが開いたら、下記の内容を入力します。

[nginx]
name=nginx repo
baseurl=http://NGINX.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

コピペするなら、コピーして、TeraTerm上で右クリックをしてください。
※先頭の数文字が欠ける場合がありますので注意してください。

viエディタを終了するために、Escキーを押して、:wq(書き込んで(w)終了する(q))コマンドを入力します。

最後に、nginxのリポジトリの情報が読めるか確認しておきましょう。

sudo yum info nginx

下記のような表示が出てくればOKです。

2. Nginxのインストール

リポジトリを前の手順で用意したので、下記コマンドでインストールしてみましょう。

sudo yum install nginx

yes/noを聞かれると思いますが、基本y(yes)でOKです。

インストールが終了すると、下記のように表示されます。

3. Nginxの起動

インストールができたので、Nginxを起動してみましょう。

sudo systemctl enable nginx # 自動起動設定をONにする
sudo systemctl start nginx # 起動する

起動できました・・・が、この状態だとまだWebサイトにアクセスできません。

※ちなみに、停止は下記のコマンドで可能です。

sudo systemctl stop nginx

4. さくらVPSコントロールパネルでの設定

さくらVPSはパケットフィルタと呼ばれる、開放ポートを制限する機能があります。
デフォルトで設定した場合は、SSH接続(TeraTermでのアクセス)のみ可能でHTTP接続はできません。
そのため、下記のようにWeb(と後で使うFTP)のパケットフィルタの設定をしてください。

パケットフィルター — さくらの VPS マニュアル

5. Webサイトへアクセス

最後に、あなたのサイトへアクセスしてみましょう。

VPSコントロールパネルにアクセスして、下記のように各サーバーごとにIP(XXX.XXX.XXX.XXX)またはホストアドレスが記載されていますので、そちらをコピーしてください。

例として下記のようなURLになります。
http://tk2-211-15368.vs.sakura.ne.jp

アクセスしてみて、下記のように表示された場合はOKです!

おつかれさまでした。
以上でインストールは完了です。 設定ファイルや公開ディレクトリなどのパスは下記の通りです。

パス 説明
/etc/nginx/ Nginxの設定ファイルが色々と入っている
/etc/nginx/nginx.conf Nginx設定ファイル
/var/log/nginx/ ログ保存ディレクトリ
/usr/share/nginx/html/ WEBサイトの公開ディレクトリ

ディレクトリ内のファイル・ディレクトリを見る場合は、下記コマンドを使用します。

ls /etc/nginx

ファイル内を見る場合は、下記コマンドを使用します。

vi /etc/nginx/nginx.conf

おわりに

Nginxを使いWebサーバーを構築することができました。
方法さえ分かっていれば、非常に簡単だったと思います。

今後は、Pythonなど動的コンテンツが扱えるAPサーバーとしてNginx Unitを導入し、NginxやPythonの仮想環境であるvenvと接続していきます。そのためには、設定ファイルなどを直接編集する必要があるので、そこも詳しく説明します。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
次は、4. Pythonのバージョンを2.7.5から3.6.8にするです。

(VPSでつくる) CentOS7のインストール

連載第二回目です。
VPSサーバーのOSをCentOS7にします。
CentOS7は一般的に使われるLinuxベースのサーバーで、CentOS8よりサポート期間が長いので採用しました。

今回は、CentOS7を再インストールしてみます。
さくらVPSでは、GUI上でOSを再インストールできるので、設定ミスをした場合でも問題なくリセットできます。

CentOSってそもそも何ぞという方は、詳しくはネコでもわかる!さくらのVPS講座 〜第一回:VPSてなんだろう?〜の「VPSのOSはどれを選べばいい?」をご覧ください。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
その他については上記ページをお読みください。

1. VPSコントロールパネルにアクセス

まずは、VPSコントロールパネルにアクセスしてください。

次に、サーバーリストから1つのサーバーをクリックしてください。

続いて、右にある「各種設定」の「OSインストール」をクリックします。

OSインストール形式の選択は、標準OSを選択してください。

標準OSインストールは、CentOS7 x86_64を選択してください。

管理パスワードは、自由に設定してください。
その他は、デフォルトの設定で問題ありません。

インストールを開始すると5分程度時間がかかります。

おつかれさまでした。

おわりに

今回はCentOS7をインストールしました。
OSによってコマンドや設定が異なるので、今回はよく使われるCentOS7を選びました。

OSでいう、WindowsとMacの違いが他のサーバーでもあります。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
次は、3. NginxでHello Worldを行います。

(VPSでつくる) VPSへのログイン

連載第一回目です。
まずは、さくらVPSへログインしたいと思います。
ログインすることによって、VPSサーバーの設定ができるようになります。

連載の全体を俯瞰してみると、赤枠の部分です。
あなたのPC上から、VPSサーバーの制御ができるようになります。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
その他については上記ページをお読みください。

1. さくらVPSにアクセス

まずは新規登録を行います。


・・・プランをどれを選べばいいかわからない?

一番安いモノで良いんじゃないかな。
どれを選んでも構築する内容は変わりませんし。

今回はたまたま2週間無料キャンペーンをしていましたが、
VPSはレンタルサーバーに比べて、コストパフォーマンス的にかなり性能が良いので一番安いモノであまり気にならないです。

ゾーンは、あなたの住んでいる場所に近い所でいいでしょう。
台数は1台。複数台にするとその分の料金が請求されます。
サーバー容量の増設は、無料であればすればいいでしょう。

2. VPSコントロールパネルにアクセス

新規登録すると、VPSコントロールパネルにアクセスできるようになります。

※複数台あるとこのような表示になります。

これでコントロールパネルにアクセスができることを確認しました。

最後に、サーバーを起動しておきましょう。
VPSへログインは、サーバーが起動していないとできません。

3. VPSへログインする

最後に、VPSへログインしてみましょう。
ログインできれば、サーバーの設定などがあなたのPC上で可能になります。

ターミナルソフトとして、TeraTermをインストールします。
※他のターミナルソフトでも問題ありません。

IPまたはホストアドレス(赤枠)のメモを行っておきます。

TeraTermを開いて、下記のように情報を入力して、OKをクリックします。

設定したユーザー名、パスワードでログインします。

接続できた場合は下記の表示が出ます。

おつかれさまでした。

おわりに

今回はVPS(サーバー)へログインしてみました。
新規登録して、SSHでログインするだけと言えばそうなります。

VPS?レンタルサーバー?ってよく分からないなあという方は、詳しくはネコでもわかる!さくらのVPS講座 〜第一回:VPSてなんだろう?〜の「VPSってなんだろう? 他のサーバーとの違い」をご覧ください。
よく話題にあがるAWS(Amazon Web Service)やGCP(Google Cloud Platform)はクラウドです。

この記事は、VPSで作るPythonでのWebアプリ運用環境の連載記事です。
次は、2. CentOS7のインストールを行います。

VPSでつくるPythonでのWebアプリ運用環境(連載記事)

今風のWebアプリをリリースするにはレンタルサーバーでは物足りない!

例えば、PythonやRubyに対応しているレンタルサーバーはあまりありません。加えて、データサイエンスや機械学習に強いプログラム言語Pythonは頻繁にアップデートされますので、レンタルサーバーではアップデートに対応して即時に変更反映・・・なんてものはできません。

例えば、私はPython3.Xが入っていないから、変更後のライブラリ〇〇が使えない…ことを何度も体験してきましたorz

そこで、VPS(Virtual Private Server)を使って開発環境を丸ごと借り、自由度の高いサーバーを構築していきます。今回はさくらVPS(https://vps.sakura.ad.jp/)を使っていきます。

VPSにした理由は、クラウドサービスに比べVPSは割安だからです。

よく例に挙がるAWSやGCPは利用料金が高いです。本格的に収益の上がるサイトができた場合は移行するといいかもしれません。

AWSは、1ノードを20日程度放置していただけでも月3万の請求が来ていました。AWSの勉強をしてただけなのに怖いですね。GCPも、仕事で使う分には気にならない程度で、機械学習・データ分析用途でアクセスが多く(1000程度)ても月10万PV行かないくらいで3万以上です。個人開発では高いですね。

なんと、VPSは最小構成で月約650円です。レンタルサーバーに比べて自由度が高いので、ある程度満足できる金額ではないでしょうか。

さくらにした理由は、レンタルサーバーを借りていた際に満足できる経験をしたからです。
①2年以上運用していたが、サーバー停止など大きなトラブルがなかった。
②さくらサーバーからエックスサーバーへの移行時(利用停止時)にさくらのカスタマーサポートに相談したが、その時でさえサポートが充実していた。

まずは、構築環境を下記の通りに示します。
構築する環境はあくまでアプリに合わせて選ぶものなので、あなたのアプリに合わない場合は適宜変更してください。

続いて、具体的に何をするのか目次をリストアップします。
大きな目的である直接の運用コストを減らすためにVPSを採用していますが、VPSはセキュリティ等を含め全てを自分で管理する必要があります。
そのため、手間を減らす必要があるので、自動起動・アップデートの自動化なども忘れずに導入しておきます。

最後に、VPSの総括を行います。
良い点、悪い点、引っかかりやすいポイントなどなど。

補足として、この記事内に作者のバックグラウンド(Webサーバー関連の理解度など)も記載しておきます。ご参考に。

(1)構築環境

基本構成

OS:CentOS7

CentOS8までの中でサポートが一番長い。事例が多い。

Webサーバ:Nginx

Apacheより動的なアクセス処理が得意(らしいので)、今回のWebアプリに最適。

APサーバ:Nginx Unit

より新しく(2018年リリース)、Nginxと併用されやすいGunicornより導入が簡単だった。

その他構成

サーバーへのアクセス:SSH

サーバー管理・設定変更の安全のため。

FTP

サーバーへのファイル転送のため。

SSL接続(HTTPS)のみ

HTTPはNginxの設定で遮断。SSLは独自ドメインの取得が必須。

アプリ

ソーシャルトラッキングアプリ(目標管理+ルームチャット)です。
目標管理に加え、オンラインもくもく会や勉強会ができる感じのアプリです。
→ ある程度小さいデータのやり取りを何度も行う想定。
→ 将来的にレコメンドなどの機械学習システムを導入したい。

Python3.6.8(Flask)+pip3+MySQL

構築がより簡単なため。
Python3.6.8か2.7.5以外の場合はNginx Unitは非推奨。(理由は後述)

Flask+BluePrint

機能拡張を行うために、BluePrintを導入。

MySQL(MariaDB)+PHP+phpMyAdmin

GUIでデータベースを操作したい。(CUIでの操作は面倒…)

(2)利用環境

OS:Windows10

サーバーへのアクセス:TeraTerm

FTP:WinSCP

データベース管理:phpMyAdmin

仮想環境:pyenv+pip

以上が構築環境、利用環境です。
続いて、目次に移ります。

(3)目次

全体構成としては、下記の図の通りです。それを一つずつ構築していきます。

基礎設定

1. VPSへのログイン
2. CentOS7のインストール

PythonでHello World

3. NginxでHello World
4. Pythonのバージョンを2.7.5から3.6.8にする
5. Python仮想環境venvの導入
6. Nginx Unit+venv+FlaskでHello World

データベース+PHPインストール

7. Nginx+PHPでHello World
8. MariaDB(MySQL)インストール
9. phpMyAdminインストール

FTP

10. WinSCPでFTP接続

Pythonアプリ導入

11. PythonでMariaDB(MySQL)へ接続できるアプリを触ってみよう
12. Python(Flask)でMariaDB(MySQL)へ接続できるアプリをもっと読みやすく改良してみよう
13. Socket通信を使ったモダンなチャットアプリをFlaskで作ろう

その他

14. セキュリティ設定
15. Let’s EncryptでVPS上のWebサイトをSSL(HTTPS)接続にしよう

総括

総括・変更履歴

(4)作者のバックグラウンド

具体的には、このWebサーバー構築前はAPサーバーって何やねんってレベルでした…
インフラわからん!
趣味でレンタルサーバーを借りていて、Webサイト(ApacheでCakePHP2(PHP5+MySQL))を10年近く運営しています。
ただ、今回のWebサーバ(Nginx+Nginx Unit(or Gunicorn)でFlask(Python3+MariaDB))を構築するのに1か月近くかかった程度のレベル感です。orz

執筆時の状況は、仕事はエンジニアではなく、コンサルティング(データ・AI系)なので前知識ほぼありません。基本情報技術者レベルの知識はありました。

さいごに

最後までお読みいただき誠にありがとうございました。

試行錯誤の末にどうにかVPSでWebサーバーを動かせるようになりました…。
これまでは、個人ではレンタルサーバー任せ、仕事ではクラウド任せだったので、APサーバーなどを全く意識せずに使っていて今回かなり引っかかりましたorz
このページのように情報を統合して書いておくと、他の人も時間を無駄にしなくて済むといいな~と思って書いています。

分かり辛い点や解釈がおかしい部分があればコメントいただけると幸いです。
よろしくお願いいたします。