ロリポップ(Lolipop)では2015年末にサーバー環境が刷新され、高性能ハードウェアへのリプレイスやモジュール版PHP対応など、大幅なアップグレードが実施されました。既存ユーザーに対する移行サービスも提供され、かなり良心的なレンタルサーバーだなと思った記憶があります。
それまでのロリポップ!の評価は「人気の理由が分からない」であり、数値的に評価するほど料金に見合わない性能でした。しかし、環境刷新後の評価では、上位クラスのレスポンス性能を実現するなど、コストパフォーマンス抜群なサービスに生まれ変わりました。
それから1年ほど経過しますが、当時の性能は今でも維持されているのでしょうか?大々的にアピールした「最初だけ」性能の高いサービスもあります。今回は1年経過後に再測定した結果を基に、ロリポップ!の現在を評価します。
レンタルサーバーを選択する際、大切なポイントは「Webサイトの表示速度」です。いくら豊富な機能に対応しても、運営サイトのレスポンスが悪ければ絵に描いた餅です。訪問者を自分に置き換えれば、なかなか開かないページにイライラすることは想像に難くないでしょう。そして、レスポンスの悪さは検索順位にも悪影響です。
様々な調査結果により 3秒 という時間がレスポンス性能のキーワードとなります。
コンテンツが表示されるまでに3秒を超えてしまうと、
レスポンス性能の影響は様々です。
快適なWebサイトの条件は、「最低でも3秒以内」「理想は2秒以内」のレスポンスとなります。それを越えてしまうと、どうしても必要な情報がない限り目に触れる機会すらなくなります。
測定用サーバーから定期的にアクセスして、Webページの取得に要する時間を測定します。測定対象として「WordPress(動的ページ)」と「HTML(静的ページ)」があります。より詳しい内容は こちら を参考にしてください。
測定対象 | |
---|---|
動的ページ(WordPress) | WordPressサイト(PHP&データベース)。コンテンツは平均的なウェブページの構成を採用(HTTP Archiveの統計データを利用)。 |
静的ページ(HTML) | HTMLファイルによるサイト。WordPressが生成したデータをHTMLファイル化。PHPとデータベースを使用しません。 |
測定期間は 7日間 であり、5分ごとに2回の測定を行います。つまり、「7日×24時間×12回(60/5)×2回」の約4,000回となります。
一度きりの測定では意味がないため、一定期間の継続した測定を行っています。「利用者や訪問者が測定時だけ少なくレスポンスが良かった」「一時的なトラブルが原因でレスポンスが悪かった」という、誤った結果となることを(完全ではありませんが)防げます。
一定期間測定することで、利用者や訪問者が変動する日中、夜間、深夜の差を確認することもできます。例えば、訪問者が多くなり負荷が高くなる夜間と、負荷の下がる深夜との差が小さければ、負荷に強いサーバーであることを推測できます。
あくまでも推測ですがロリポップ!のデータセンターは「東京(品川区)」にあるようです。姉妹サービスのヘテムル(heteml)やZ.comなどGMO系列の他サービスも同じデータセンターに収容されています。
経路図は測定元からデータセンターまでのネットワークを示しており、経由するIX(インターネットエクスチェンジ)等を含みます。測定元はK-Opticom(インターネットプロバイダ)のネットワーク内、関西圏(赤い円)にあるサーバーです。
WordPress CGI |
HTML (CGI) |
WordPress Module |
HTML (Module) |
|
---|---|---|---|---|
有効測定 | 4,032回 | 4,032回 | 4,026回 | 4,028回 |
棄却検定除外 | 4.89% (197) | 6.37% (257) | 4.35% (175) | 5.54% (223) |
棄却検定閾値 | 1.74秒 | 0.72秒 | 1.62秒 | 0.66秒 |
エラー | 0% (0) | 0% (0) | 0.15% (6) | 0.10% (4) |
3秒以上 | 1.61% (65) | 0.79% (32) | 1.17% (47) | 0.79% (32) |
中央値 | 0.90秒 | 0.37秒 | 0.75秒 | 0.36秒 |
平均値 | 0.95秒 | 0.39秒 | 0.80秒 | 0.37秒 |
ばらつき/標準偏差 | 0.16秒 | 0.07秒 | 0.16秒 | 0.06秒 |
変動係数 | 16.8% | 18.0% | 20.0% | 16.2% |
約68%
が 平均値 ± ばらつき
に、 約95%
が 平均値 ± ばらつき×2
に収まることを示します。ばらつきが小さいほどレスポンスが安定します。エラー内容 | |
---|---|
WordPress Module [6] | 503 Service Temporarily Unavailable [5] / 502 Proxy Error [1] |
HTML (Module) [4] | 503 Service Temporarily Unavailable [4] |
ロリポップ!はデータベース専用のサーバーが稼働しており、データベース作成時に選択できす。そのためデータベースの性能差が影響しないように、同じ(データベース)サーバーを参照するように設定しています。
測定対象はスタンダードプランの「モジュール版PHP5」と「CGI版PHP5」です。
WordPress(動的ページ)とHTML(静的ページ)をペアで測定しているため、HTMLの結果が二つあります。また、表のHTMLにCGIやModuleの表記がありますが、組み合わせを示しているだけです。WordPressとHTMLとの差が、PHPやデータベースの処理時間となります。
同じ期間かつ同じサーバーに対する測定なので、HTMLの結果はそれぞれ同じような傾向となります。
WordPressの結果を比較するとモジュール版が優れていることが分かります。さらに、全てのデータ(未加工データ)によるt検定で有意差(p<0.01)を確認できました。エラーは少し気になりますが、モジュール版が速いことに間違いありません。
モジュール版が優れていることを確認できましたが、棄却検定による除外数が異常なことなっています。それでは除外データを含む未加工データを詳細に確認しましょう。
WordPress CGI |
HTML (CGI) |
WordPress Module |
HTML (Module) |
|
---|---|---|---|---|
3秒以上 | 1.61% (65) | 0.79% (32) | 1.17% (47) | 0.79% (32) |
中央値 | 0.91秒 | 0.38秒 | 0.75秒 | 0.36秒 |
平均値 | 1.05秒 | 0.48秒 | 0.88秒 | 0.45秒 |
ばらつき/標準偏差 | 0.76秒 | 0.47秒 | 0.47秒 | 0.43秒 |
変動係数 | 72.4% | 97.9% | 53.4% | 95.6% |
一時的(偶発的)な遅延を省くために棄却検定を適用していますが、全体の「5%」となると無視できません。未加工データをみると、夜間の性能低下が異常なことになっています。
この測定期間だけ発生している可能性もありますが、後述する全体的な性能低下をみると、おそらく恒常的な状況なのでしょう。
しかし、同時期に実施してるベンチマークの結果を見ると、夜間帯に大きな性能低下は発生していません。 処理性能の影響を受けにくいHTMLの結果も同時に低下していることから、「ネットワークに過大な負荷がかかっている」ことを推測できます。同時期に他社サービスの測定も実施しており、測定元のネットワーク環境に問題がないことは確認済みです。
ユーザーが増えすぎてネットワーク性能の許容を超えているのではないでしょうか?と思いたいところですが、おそらくサーバーの負荷を下げるために「帯域調整」を実施しているのでしょう。ユーザーを詰め込むだけ詰め込み、無理矢理バランスをとっているような印象です。
稼働直後 | 今回 | |
---|---|---|
有効測定 | 4,032回 | 4,026回 |
エラー | 0% (0) | 0.15% (6) |
3秒以上 | 0.07% (3) | 1.17% (47) |
中央値 | 0.43秒 | 0.75秒 |
平均値 | 0.50秒 | 0.88秒 |
ばらつき/標準偏差 | 0.22秒 | 0.47秒 |
変動係数 | 44.0% | 53.4% |
これは2016年の初め、新サーバー稼働直後に測定したデータとの比較です。スタンダードプランの「モジュール版PHP5」の結果であり、どちらも棄却検定を適用していません。
この結果を見れば明らかですが、わずか1年でここまで性能が劣化しました。「約76%」のダウンであり、もはや別のサービスを利用しているかのようです。例え夜間帯のデータを除いたとしても、稼働直後の性能には遠く及びません。
WordPress 稼働直後 |
HTML 稼働直後 |
Wordpress 今回 |
HTML 今回 |
|
---|---|---|---|---|
有効測定 | 4,022回 | 4,022回 | 4,032回 | 4,032回 |
エラー | 0.25% (10) | 0.25% (10) | 0% (0) | 0% (0) |
3秒以上 | 0.07% (3) | 0.10% (4) | 2.73% (110) | 1.44% (58) |
中央値 | 0.86秒 | 0.43秒 | 1.22秒 | 0.37秒 |
平均値 | 0.91秒 | 0.51秒 | 1.44秒 | 0.51秒 |
ばらつき/標準偏差 | 0.22秒 | 0.35秒 | 1.30秒 | 0.67秒 |
変動係数 | 24.2% | 68.6% | 90.3% | 131.4% |
hostingstockでは幾つものサーバーを契約しており、ロリポップ!も長期契約しています。ライトの(新サーバー)稼働直後と現在の測定結果(未加工データ)を比較することで、同じサーバー(環境)でも大幅に性能低下していることを示します。これにより、今回の測定で利用したスタンダードのサーバーが「ハズレ」という可能性を払拭できるでしょう。
同じサーバーにも関わらず、わずか1年でこれだけ劣化したことが分かります。とても同じサーバーの結果とは思えません。夜間帯の遅延はスタンダードと同じ傾向であり、ロリポップ!のサービス全体で品質が低下しているのでしょう。
ライトプラン | スタンダードプラン | |
---|---|---|
有効測定 | 4,032回 | 4,032回 |
エラー | 0% (0) | 0% (0) |
3秒以上 | 2.73% (110) | 1.61% (65) |
中央値 | 1.22秒 | 0.91秒 |
平均値 | 1.44秒 | 1.05秒 |
ばらつき/標準偏差 | 1.30秒 | 0.76秒 |
変動係数 | 90.3% | 72.4% |
ライトとスタンダードとの比較結果です。ライトの仕様に合わせて「CGI版PHP5」の測定結果(未加工データ)を採用しています。
稼働直後のベンチマークは、ライトもスタンダードも優秀な結果でした。しかし、今回のベンチマークでは、どちらも処理速度が低下しています。特にライトは同じサーバーとは思えないほど、大幅な性能低下となりました。
比較結果から分かることは、おそらくライトの収容数が異常に多いということです。単純に考えれば、ライトの料金でスタンダード並の利益を得るには、より多くのユーザーを収容する必要があります。しかし、他社ではここまで露骨な差が付くことはありません。一般的に「プランの差=機能の差」であり、性能にまで差を付けません。性能差がある場合、それが上位プランのメリットとなるため公式サイトに明記するはずです。
毎回他社との比較記事を掲載していますが、この結果では比較の意味がありません。
新サーバーに移行してから劇的に改善されたため、「コストパフォーマンスの高い」おすすめレンタルサーバーとしていました。しかし、この結果ではとてもオススメできるものではありません。結局のところ、「安いなりに動けば良い」という運用方針は旧サーバーの時と変わっていないようです。この状況を放置していることからも、運営側からすれば許容範囲なのでしょう。
公式サイト | WordPress | Static | |||||||
---|---|---|---|---|---|---|---|---|---|
環境 | 平均値 秒 | 中央値 秒 | 標準偏差 秒 | エラー % | 平均値 秒 | 中央値 秒 | 標準偏差 秒 | エラー % | |
0.21 | 0.21 | 0.01 | 0 | 0.21 | 0.21 | 0.01 | 0 | ||
PHP5/CGI | 0.24 | 0.22 | 0.05 | 0 | 0.43 | 0.54 | 0.2 | 0 | |
PHP7/CGI | 0.24 | 0.21 | 0.07 | 0 | 0.24 | 0.21 | 0.06 | 0 | |
0.25 | 0.23 | 0.06 | 0.02 | 0.26 | 0.23 | 0.08 | 0.42 | ||
Xキャッシュ | 0.29 | 0.25 | 0.09 | 0 | 0.28 | 0.25 | 0.07 | 0 | |
0.37 | 0.35 | 0.08 | 0 | 0.36 | 0.35 | 0.05 | 0 | ||
0.38 | 0.37 | 0.05 | 0 | 0.57 | 0.66 | 0.19 | 0 | ||
PHP7/FastCGI | 0.4 | 0.4 | 0.12 | 0 | 0.23 | 0.22 | 0.03 | 0 | |
WordPressサーバー | 0.42 | 0.35 | 0.2 | 0 | 0.4 | 0.35 | 0.15 | 0 | |
0.43 | 0.47 | 0.21 | 0 | 0.43 | 0.22 | 0.31 | 0 | ||
PHP7/FastCGI | 0.45 | 0.45 | 0.15 | 0 | 0.29 | 0.26 | 0.09 | 0 | |
PHP7 | 0.46 | 0.45 | 0.03 | 0.05 | 0.35 | 0.31 | 0.1 | 0.02 | |
キャッシュ無効 | 0.47 | 0.52 | 0.15 | 0 | 0.43 | 0.54 | 0.21 | 0 | |
PHP5/FastCGI | 0.47 | 0.47 | 0.12 | 0 | 0.23 | 0.22 | 0.03 | 0 | |
0.54 | 0.7 | 0.25 | 0 | 0.36 | 0.33 | 0.09 | 0.02 | ||
PHP5/FastCGI | 0.55 | 0.54 | 0.17 | 0 | 0.33 | 0.29 | 0.11 | 0 | |
0.62 | 0.62 | 0.03 | 0.1 | 0.41 | 0.34 | 0.14 | 0.17 | ||
PHP7 | 0.62 | 0.59 | 0.32 | 0 | 0.38 | 0.31 | 0.2 | 0 | |
PHP7/Module | 0.62 | 0.59 | 0.11 | 0 | 0.4 | 0.39 | 0.04 | 0 | |
キャッシュ無効 | 0.62 | 0.61 | 0.12 | 0 | 0.38 | 0.37 | 0.05 | 0 | |
PHPサーバー | 0.62 | 0.7 | 0.26 | 0 | 0.34 | 0.29 | 0.1 | 0 | |
PHP5 | 0.63 | 0.62 | 0.03 | 0 | 0.32 | 0.31 | 0.03 | 0 | |
PHP7 | 0.63 | 0.59 | 0.33 | 0 | 0.37 | 0.31 | 0.18 | 0 | |
0.64 | 0.61 | 0.1 | 0 | 0.48 | 0.45 | 0.09 | 0 | ||
PHP7/CGI | 0.66 | 0.62 | 0.12 | 0 | 0.39 | 0.38 | 0.05 | 0 | |
0.66 | 0 | 0.22 | 0 | 0.66 | 0 | 0.23 | 0 | ||
0.67 | 0.65 | 0.07 | 0.15 | 0.52 | 0.47 | 0.14 | 0.15 | ||
キャッシュ | 0.68 | 0.68 | 0.06 | 0 | 0.69 | 0.69 | 0.06 | 0 | |
PHP7/CGI | 0.7 | 0.68 | 0.09 | 0 | 0.51 | 0.49 | 0.07 | 0 | |
PHP5 | 0.71 | 0.69 | 0.33 | 0 | 0.37 | 0.3 | 0.18 | 0 | |
0.71 | 0.73 | 0.3 | 0 | 0.35 | 0.31 | 0.11 | 0 | ||
0.72 | 0.71 | 0.05 | 0 | 0.24 | 0.24 | 0.01 | 0 | ||
0.75 | 0.63 | 0.31 | 0 | 0.56 | 0.47 | 0.29 | 0 | ||
PHP5 | 0.75 | 0.7 | 0.37 | 0 | 0.37 | 0.31 | 0.16 | 0 | |
モジュール | 0.8 | 0.75 | 0.16 | 0.15 | 0.37 | 0.36 | 0.06 | 0.1 | |
0.83 | 0.79 | 0.39 | 0 | 0.34 | 0.28 | 0.15 | 0 | ||
PHP7 | 0.84 | 0.8 | 0.26 | 0 | 0.74 | 0.69 | 0.16 | 0 | |
PHP7 | 0.84 | 0.84 | 0.14 | 0 | 0.67 | 0.67 | 0.06 | 0 | |
PHP7 | 0.85 | 0.84 | 0.06 | 0 | 0.67 | 0.66 | 0.05 | 0 | |
PHP7 | 0.88 | 0.84 | 0.16 | 0.75 | 0.61 | 0.57 | 0.1 | 0 | |
0.91 | 0.86 | 0.16 | 0 | 0.51 | 0.49 | 0.07 | 0 | ||
0.92 | 0.88 | 0.2 | 0 | 0.64 | 0.61 | 0.24 | 0 | ||
0.93 | 0.92 | 0.05 | 0 | 0.65 | 0.65 | 0.04 | 0 | ||
PHP5 | 0.93 | 0.92 | 0.16 | 0 | 0.67 | 0.67 | 0.06 | 0 | |
0.95 | 0.95 | 0.12 | 0 | 0.52 | 0.5 | 0.08 | 0 | ||
CGI | 0.95 | 0.9 | 0.16 | 0 | 0.39 | 0.37 | 0.07 | 0 | |
PHP5/FastCGI | 0.97 | 0.96 | 0.4 | 0.15 | 0.42 | 0.41 | 0.07 | 0.07 | |
PHP5 | 1 | 0.98 | 0.31 | 0 | 0.77 | 0.8 | 0.14 | 0 | |
PHP5/CGI | 1.04 | 0.8 | 0.77 | 0 | 0.53 | 0.49 | 0.11 | 0 | |
1.05 | 1.01 | 0.12 | 0 | 0.81 | 0.74 | 0.19 | 0 | ||
PHP5 | 1.1 | 1.05 | 0.16 | 0 | 0.6 | 0.56 | 0.1 | 0 | |
1.14 | 1.14 | 0.04 | 0 | 0.27 | 0.26 | 0.02 | 0 | ||
ライトプラン | 1.44 | 1.22 | 1.3 | 0 | 0.51 | 0.37 | 0.67 | 0 | |
1.96 | 1.92 | 0.63 | 0.02 | 1.63 | 1.56 | 0.59 | 0.02 | ||
2.09 | 1.7 | 1.07 | 0.93 | 1.24 | 1.17 | 0.42 | 0.6 | ||
2.23 | 0 | 0.65 | 0.11 | 1.91 | 0 | 0.6 | 0.07 | ||
PHP5/FastCGI | 2.72 | 2.55 | 0.67 | 0.07 | 2.41 | 2.17 | 0.66 | 0.07 | |
PHP5/FastCGI | 2.9 | 2.78 | 0.51 | 0.35 | 2.52 | 2.37 | 0.43 | 0.15 | |
PHP7/FastCGI | 2.92 | 2.8 | 0.53 | 0.27 | 2.57 | 2.46 | 0.36 | 0.22 | |
PHP7 | 3.18 | 1.57 | 2.34 | 0.35 | 0.71 | 0.71 | 0.18 | 0.22 | |
PHP5 | 3.3 | 1.53 | 2.47 | 0.5 | 0.72 | 0.72 | 0.18 | 0.45 | |
3.36 | 3.09 | 0.63 | 0.02 | 2.89 | 2.72 | 0.35 | 0 | ||
3.78 | 0 | 0.5 | 0.07 | 3.77 | 0 | 0.51 | 0.1 | ||
4.56 | 4.53 | 0.31 | 0 | 4.24 | 4.22 | 0.34 | 0 | ||
5.7 | 5.72 | 0.83 | 0.02 | 5.13 | 5.14 | 0.81 | 0.02 | ||
8.05 | 6.72 | 3.08 | 1.68 | 7.82 | 6.4 | 3.23 | 1.41 | ||
0 | 0 | 0 | 0 | 0.34 | 0.29 | 0.15 | 0 | ||
0 | 0 | 0 | 0 | 6.13 | 6.27 | 0.45 | 0 |