サーバー環境刷新から1年、少し残念な結果に⋯ロリポップのベンチマーク

ロリポップ(Lolipop)では2015年末にサーバー環境が刷新され、高性能ハードウェアへのリプレイスやモジュール版PHP対応など、大幅なアップグレードが実施されました。既存ユーザーに対する移行サービスも提供され、かなり良心的なレンタルサーバーだなと思った記憶があります。

移行後のベンチマーク結果は、以前とは比較にならないほど良好な性能となり、エントリークラスでは最もおすすめできるサービスとして紹介してきました。

これまでに多くのサービスを評価しており、中には「最初だけ」結果の良いものもありました。原因の多くはユーザー収容数の加減でしょう。最初はユーザーが少ないため、負荷がかかりにくく高いパフォーマンスを維持しますが、収容数を増やし過ぎると低下します。ロリポップ!の場合はどうなのでしょうか?前回の測定から1年ほど経過したこともあり、再測定を実施しています。

レンタルサーバーを検討する際、大事なポイントはWebサイトの表示速度です。レスポンスが悪ければ訪問者にストレスを与え、検索順位にも悪影響です。もう一つはサーバーの処理性能であり、表示速度はもちろんのこと高負荷時(アクセス増加時)の安定性に大きく影響します。

いくら公式サイトで高性能を謳っていても、実際に契約すると期待外れなことが多々あります。ここではロリポップ!の性能評価を行い、前回の結果との比較を行います。

ロリポップ!の全てが分かる
ロリポップ!のレビュー

測定方法

WordPressをインストールしたWebサイト(サーバー)を利用します。

  • 「ランダムな3,000文字/記事」の投稿と削除
    • 100記事をまとめて投稿、投稿後に全削除
    • 1記事ごとの生成処理を含む
  • 投稿と削除はWordPressの標準関数を利用
    • wp insert post、wp delete post

これらの処理を「5分間隔」で実行し、一連の処理時間を測定します。つまり、「PHPとデータベースの処理性能」を確認します。データセンター内(またはサーバー内)で完結する処理なので、外部ネットワーク環境の影響を受けません。

負荷について
100件程度は大した負荷ではありません。しかし、共用サーバーなので高負荷とならないように、1件ごとにwait処理を差し込んでいます。

測定結果

  CGI(ライト) CGI(スタンダード) モジュール(スタンダード)
有効測定数 864 864 864
棄却検定除外 3.59%(31) 0.23%(2) 0.35%(3)
棄却検定閾値 17.49秒 7.03秒 8.65秒
エラー 0%(0) 0%(0) 0%(0)
中央値 6.93秒 4.45秒 4.96秒
平均値 7.41秒 4.56秒 5.12秒
ばらつき 2.16秒 0.56秒 0.80秒
変動係数 29.2% 12.3% 15.6%
測定結果について
72時間(3日間) の測定結果です。X軸は時刻(0時~24時)を表し、各時刻の値は3日間の平均値です。有効測定数はエラーを省いた実測定数です。
測定のタイミングによりサーバーの負荷状態(混雑具合)が変動します。集計に影響を与える一時的な異常値(外れ値)を棄却検定Grubbs' test(α=0.001)により省いています。
ばらつき(標準偏差)は、処理の 約68%平均値 ± ばらつき に、約95%平均値 ± ばらつき×2 に収まることを示します。ばらつきが小さいほど処理性能が安定します。

ロリポップの評価

ロリポップ!はデータベース専用のサーバーが稼働しており、データベース作成時に選択できす。そのためデータベースの性能差が影響しないように、同じ(データベース)サーバーを参照するように設定しています。

測定対象は「ライトプランのCGI版PHP5.6」「スタンダードプランのモジュール版PHP5.6」「スタンダードプランのCGI版PHP5.6」の3種類です。

スタンダードプランの特徴は「モジュール版PHP」による高速な実行速度ですが、この測定ではCGI版が上回る結果となりました。モジュール版PHPは多数のアクセス時に有効なので、この測定では差を確認しにくいでしょう。ただし、他のレンタルサーバーではモジュール版が大きく上回ることもあり、設定次第の部分もあります。Webサイトの表示速度はモジュール版が優れているため、CGI版を選択する理由はないでしょう。

前回の測定結果による推測ですが、ライトとスタンダードは同じスペックのサーバーで運用されているはずです。にも関わらず、これだけの差があるのはおそらく収容数の差でしょう。後述しますが、稼働直後と比較すると処理性能が明らかに低下しています。

ライトはアクセス数の増える時間帯に処理性能が低下します。廉価サービスの見本のような挙動であり、午前4時頃が本来の性能でしょう。最後に掲載している未加工データを確認すると分かりますが、負荷のピークとなる午後10時前後はかなりひどい結果となっています。

稼働直後との比較

  CGI
(ライト/今回)
CGI
(ライト/稼働直後)
モジュール
(スタンダード/今回)
モジュール
(スタンダード/稼働直後)
有効測定数 864 861 864 858
棄却検定除外 3.59%(31) 0.46%(4) 0.35%(3) 0.58%(5)
棄却検定閾値 17.49秒 6.55秒 8.65秒 4.52秒
エラー 0%(0) 0.35%(3) 0%(0) 0%(0)
中央値 6.93秒 3.70秒 4.96秒 3.86秒
平均値 7.41秒 3.81秒 5.12秒 3.87秒
ばらつき 2.16秒 0.60秒 0.80秒 0.17秒
変動係数 29.2% 15.8% 15.6% 4.39%

サーバー環境の変更直後(新サーバー稼働直後)に測定した結果と比較すると、同じ測定方法にもかかわらず処理性能が低下しています。

メモ
当時スタンダードにはCGI版PHP5.6がなかったため、今回の結果とは比較できません。

スタンダードのモジュール版PHPは「約32%」のダウン、ライトプランに至っては「約94%」ものダウンです。稼働直後は非常に安定していたパフォーマンスも、時間帯による変動が大きくなっています。

今回の測定結果を確認したときから予想は出来ましたが、やはり収容数がかなり増加しているようです。とくにライトプランは目も当てられないほどです。ライトプランは前回と同じサーバーで測定しており、1年ほどで処理性能が半分まで低下したことになります。ここまで劣化するともはや同じサービスとは言えません。

この結果から分かることは、廉価プランに対する扱いがかなり悪いということです。プラン間でここまで性能差のあるサービスはほとんどありません。他のレンタルサーバーの場合、性能差がある場合は公式サイトに記載しており、「明記しない限り」同じようなスペックのサーバーが提供され機能差(データベース数など)が料金差となるのが普通です。

全体的にWebサイトのレスポンス性能も低下しています。せっかく環境が刷新されコストパフォーマンスの高いサービスとなったのに、これでは以前の「安かろう悪かろう」に戻るのではないと不安になります。

さくらインターネット、ファイアバード、エックスサーバーとの比較

  ロリポップ
(モジュール版PHP5)
さくらインターネット
(CGI版PHP5)
ファイアバード
(CGI版PHP7)
エックスサーバー
(FastCGI版PHP7)
有効測定数 864 864 863 864
棄却検定除外 0.35%(3) 0.93%(8) 1.51%(13) 1.27%(11)
棄却検定閾値 8.65秒 7.73秒 7.00秒 3.41秒
エラー 0%(0) 0%(0) 0%(0) 0%(0)
中央値 4.96秒 5.59秒 5.17秒 2.23秒
平均値 5.12秒 5.71秒 5.25秒 2.28秒
ばらつき 0.80秒 0.45秒 0.37秒 0.25秒
変動係数 15.6% 7.88% 7.05% 11.0%
変動係数
変動係数は「平均値に対する変動の割合」を示します。平均値(処理時間)が近い場合、変動係数が小さいほど安定します。

他のサービスと比較してみましょう。

比較対象は、さくらインターネット、ファイアバード、そして、エックスサーバーです。

PHPのバージョン
記事作成時さくらインターネットとロリポップ!はPHP7に対応していません。

料金差があるのであくまでも参考ですが、これらの中ではエックスサーバー(XSERVER)が頭一つ抜き出ています。2016年8月に基盤システムが刷新され、最新CPUや大容量メモリを搭載するサーバーを採用しています。時間帯による変動がなく、他とは比較にならない性能です。ロリポップ!からエックスサーバーへ移行する方が多いのも納得です。

他のエントリークラス同士を比較すると、料金なりの性能となっています。平均値の比較ではロリポップ!がわずかに上回りますが、変動(ばらつき)の大きさが気になります。エラーは皆無なので不安定ということはありませんが、やはり他社と比較してユーザー(収容数)が多いことが原因かもしれません。

エックスサーバーを除けばWebサイトの表示速度に大きな差はないため、どれを選択しても問題はないでしょう。必要な仕様(機能)で選択することになります。

各サービスの公式サイト
  ロリポップ! / さくらインターネット / ファイアバード / エックスサーバー

他のレンタルサーバーとの比較

公式サイト 環境 平均値 ミリ秒中央値 ミリ秒標準偏差 ミリ秒エラー %

1.71.670.070

PHP7/CGI

1.821.830.220

1.941.950.070

PHP7/CGI

2.0220.140

PHP7

2.152.120.321

2.162.170.080

PHP7

2.172.130.240

2.182.150.30

2.242.250.280

PHP7/FastCGI

2.282.230.250

PHP5/CGI

2.42.410.270

PHP5/CGI

2.412.390.150

2.522.430.330

PHP7

2.712.680.348

2.722.660.3735

PHP7/FastCGI

2.732.70.30

PHP5/FastCGI

2.732.680.270

2.862.860.090

PHP5

3.032.960.380

3.13.150.310

PHP7/Module

3.113.120.080

PHP&MySQL

3.113.010.330

3.133.140.070

PHP5/FastCGI

3.143.090.210

3.142.90.630

3.142.960.680

PHP7/CGI

3.193.190.130

3.23.180.110

PHP5

3.513.470.398

PHP5/FastCGI

3.613.60.40

3.643.60.290

WordPress

4.183.891.090

PHP7

4.224.070.470

4.224.270.30

4.424.430.180

4.54.470.580

PHP5/CGI

4.564.450.560

PHP5

4.964.860.450

PHP5/Module

5.124.960.80

PHP7

5.164.242.230

5.184.691.240

5.255.210.320

PHP7

5.255.170.370

5.315.320.110

PHP5

5.315.230.560

PHP7

5.675.520.740

5.715.590.450

PHP5

5.885.80.360

6.055.920.580

PHP5

6.455.152.640

PHP5

6.456.330.770

6.526.490.760

PHP5/FastCGI

6.646.670.330

6.96.910.130

ライト

7.416.932.160

8.37.313.550

14.49.341461
注意
最新の測定結果を優先的に表示するため、記事作成時の評価とこの比較結果(表のデータ)が異なる可能性があります。

未加工データ

  CGI(ライト) CGI(スタンダード) モジュール(スタンダード)
中央値 7.05秒 4.45秒 4.96秒
平均値 8.02秒 4.57秒 5.14秒
ばらつき 3.94秒 0.60秒 0.90秒
変動係数 49.1% 13.1% 17.5%

測定結果について
レンタルサーバーは1つのサービス(プラン)に対して多くのサーバーが運用されています。測定結果はその中の1つに過ぎません。契約時期で割り当てられるサーバーのスペックは異なり、さらに、同じサーバーに収容される他契約者の負荷に大きく左右されます。

関連記事

BLOG

UPDATE