Flying Cat Penguin

ゆるゆる仕事、ソフトウェアテスティング関連のことについて綴ります。

「The Art of Application Performance Testing」(2009年)

日本語もあるらしいです。評価はあんまりですが…。

アート・オブ・アプリケーション パフォーマンステスト (Theory in practice)

アート・オブ・アプリケーション パフォーマンステスト (Theory in practice)

  • 作者:Ian Molyneaux
  • 発売日: 2009/09/17
  • メディア: 単行本(ソフトカバー)

パフォーマンステストを専任でやったことがないので、手に取ってみました。
(ISTQBのシラバスもあるのですが、せっかくなのでこちらの本で…)

本書では下記が学べるらしいです。

  • 現実的なパフォーマンステストの目標を設定する
  • 効果的なアプリケーションパフォーマンステスト戦略を実装する
  • パフォーマンステスト結果の解釈
  • さまざまなアプリケーションテクノロジーアーキテクチャに対応する
  • 自動パフォーマンステストツールを使用する
  • 従来のローカルアプリケーション、Webベースのアプリケーション、およびWebサービスSOA)をテストする
  • パフォーマンステストで見過ごされがちな問題を認識して解決する

ユーザービリティだと、ユーザーの様子を確認することが多いですが、
パフォーマンステストでは、可用性、応答時間スループット、リソースを指標としてテストが行われるようです。
また、本書では、性能基準として応答時間の単位でどういうこと状態になるのかを記載してくれています。

下記の指針は参考になりました。

  • 15秒より多い:応答として成立しないレベル(トランザクションならOK)
  • 4秒より多い:基本的にエンドユーザーが耐えられないレベル
  • 2~4秒:高レベルの集中を必要とする操作では耐えられないレベル
  • 2秒未満:操作の応答時間の基準レベル
  • 1秒未満:画像ドラッグレベル
  • 0.1秒:キー操作レベル

テスト設計として、一分野になるとセキュリティテストのように基本的な方針を組織として持つか、チームとして確立する方向の手法があるのかなぁというのが最近読んでいてい思うところです。
パフォーマンステストはどちらかというと前者で、組織的な指針がメインみたいです。
指針を基にパフォーマンス要求を決めていく感じ…。ユーザーもあるけど、製品ごとにやるには大変ということでしょうか。
後は、どちらも分析には統計の知識が必須という感じです。

もし、日本語でもう少しがっつり読みたい場合は下記の方が良いと思います。

詳解 システム・パフォーマンス

詳解 システム・パフォーマンス

  • 作者:Brendan Gregg
  • 発売日: 2017/02/22
  • メディア: 単行本(ソフトカバー)

参考
GitHub - oldani/HtmlTestRunner: A Test Runner in python, for Human Readable HTML Reports