From Wiki-UX.info

Wiki-UX / How to perform a First Pass Performance Analysis using Measureware extract command
Jump to: navigation, search

How to perform a First Pass Performance Analysis using Measureware extract command


Abstract

The following Guide is designed as a companion to the HP-UX Performance Cookbook by Stephen Ciullo and Doug Grumann, published on June, 2009. The main objective of this Guide is to show in a practical way, how to utilize OV Measureware extract command the obtain data relevant to Resource Bottlenecks detection and analysis, particularly the metrics mentioned on this Whitepaper.

Resource Bottleneck detection is the first performance analysis required to profile a Performance Issue. Profiling a Performance Issue is often required to decide if a HP-UX percieved Performance Issue is occuring on the Operating System or outside the system.

This guide use customer Glance Reports and GNUPlot data ploting tool to generate key Performance Metric to beging performance analysis.

Resource Bottlenecks

"The bottom line on system resources is that you would actually like to see them fully utilized. After all, you paid for them! High utilization is not the same as a bottleneck. A bottleneck is a symptom of a resource that is fully utilized and has a queue of processes or threads waiting for it. The processes stuck waiting will run slower than they would if there were no queue on the bottlenecked resource".

On a First Pass Analysis, we will not be able to categorize every potential bottleneck, but the most common ones should be covered.

General Resource Overview

Six types of Resource Bottlenecks are covered on the HP-UX Performance Cookbook HP-UX Operating System:

  1. CPU Bottlenecks
  2. Memory Bottlenecks
  3. Disk Bottlenecks
  4. Buffer Cache Bottlenecks
  5. Networking Bottlenecks
  6. Other Bottlenecks

The first step before your concentrate the analysis on any specific performance bottleneck category, is to have an idea a bird's eye overview of the behavior of the system resources. The following extract report will provide just that for the last 24 hours before running the metric extraction.

NOTE: Is recommended to limit this report near the time were the Performace Issue impact was percieved. In case that time is unknown upfront, create 24 hour reports.


1. Create a global_cpumem.rept report file to obtain key CPU, Memory and I/O subsystem metrics.

cat > global_cpumem.rept << EOF
REPORT "OVPA Export !DATE !TIME Logfile: !LOGFILE !COLLECTOR !SYSTEM_ID"
FORMAT ASCII
HEADINGS ON
SEPARATOR="|"
SUMMARY=60
MISSING=0
DATA TYPE GLOBAL
DATE
TIME
GBL_ACTIVE_CPU
GBL_CPU_TOTAL_UTIL
GBL_DISK_PHYS_IO_RATE
GBL_DISK_PHYS_IO
GBL_MEM_FREE
GBL_MEM_UTIL
GBL_MEM_USER_UTIL
GBL_SWAP_SPACE_UTIL
GBL_MEM_PAGEOUT_BYTE
GBL_MEM_PAGEOUT_BYTE_RATE
EOF

2. Extract the metric data using the extract command with global_cpumem.rept report file.

/opt/perf/bin/extract -g -xp -r global_cpumem.rept \
-f global_cpumem.out,purge \
-b "03/15/2010 16:50:00" -e "03/16/2010 16:50:00"
# cat global_cpumem.out
 
OVPA Export 03/17/10 17:31    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |Active|      |   Phys   |   Phys    |  Free   |Memory| User |      |  Pg Out   |  Pg Out  |
   Date   |  Time  | CPUs |CPU % |  IO Rt   |    IOs    |   Mem   |  %   |Mem % |Swap %|    KB     |  KB Rt   |
03/15/2010|16:50:00|     8|  3.32|      12.0|       3589|      244| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|16:55:00|     8|  3.88|      14.5|       4352|      243| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|17:00:00|     8|  4.00|      13.2|       3961|      244| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|17:05:00|     8|  2.66|      13.6|       4080|      243| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|17:10:00|     8|  2.10|      12.0|       3608|      244| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|17:15:00|     8|  2.51|      14.4|       4321|      243| 98.63| 84.28| 56.00|          0|       0.0|
03/15/2010|17:20:00|     8|  1.87|      10.8|       3240|      244| 98.63| 84.28| 56.00|          0|       0.0|
03/15/2010|17:25:00|     8|  2.30|      12.8|       3840|      244| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|17:30:00|     8|  2.96|      11.9|       3572|      242| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|17:35:01|     8|  3.84|      12.9|       3858|      244| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|17:40:00|     8|  2.66|      11.1|       3328|      243| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|17:45:00|     8|  1.73|      13.5|       4056|      244| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|17:50:00|     8|  1.89|      10.7|       3212|      243| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|17:55:00|     8|  2.18|      12.4|       3717|      244| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|18:00:00|     8|  1.69|      13.2|       3966|      243| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|18:05:00|     8|  1.50|      12.4|       3722|      241| 98.61| 84.26| 56.00|         30|       0.1|
03/15/2010|18:10:00|     8|  1.55|      11.0|       3298|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|18:15:00|     8|  1.51|      12.8|       3828|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|18:20:00|     8|  1.44|      10.5|       3152|      243| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|18:25:00|     8|  1.07|      11.8|       3540|      242| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|18:30:00|     8|  2.05|      11.0|       3302|      242| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|18:35:00|     8|  1.46|      12.0|       3608|      242| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|18:40:00|     8|  1.16|      10.1|       3028|      241| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|18:45:00|     8|  1.14|      12.8|       3842|      239| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|18:50:01|     8|  1.01|      10.0|       2993|      241| 98.62| 84.27| 56.00|        359|       1.2|
03/15/2010|18:55:00|     8|  1.22|      12.0|       3600|      242| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|19:00:00|     8|  1.90|      11.8|       3542|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|19:05:00|     8|  1.26|      11.7|       3512|      241| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|19:10:00|     8|  1.54|      10.7|       3215|      242| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|19:15:00|     8|  1.83|      12.5|       3745|      241| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|19:20:00|     8|  1.37|      10.4|       3124|      242| 98.61| 84.26| 56.00|         30|       0.1|
03/15/2010|19:25:00|     8|  1.41|      11.8|       3544|      238| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|19:30:00|     8|  1.58|      10.5|       3139|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|19:35:00|     8|  1.30|      12.0|       3601|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|19:40:00|     8|  1.55|      10.2|       3062|      241| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|19:45:00|     8|  1.45|      12.9|       3868|      242| 98.60| 84.25| 56.00|          0|       0.0|
03/15/2010|19:50:00|     8|  2.13|      10.0|       3006|      241| 98.60| 84.25| 56.00|          0|       0.0|
03/15/2010|19:55:00|     8|  2.33|      11.3|       3393|      242| 98.60| 84.25| 56.00|          0|       0.0|
03/15/2010|20:00:00|     8|  1.12|      11.7|       3505|      241| 98.60| 84.25| 56.00|          0|       0.0|
03/15/2010|20:05:00|     8|  1.57|      12.7|       3821|      241| 98.60| 84.25| 56.00|        391|       1.3|
03/15/2010|20:10:00|     8|  1.91|      11.2|       3354|      241| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|20:15:00|     8|  1.73|      11.0|       3292|      239| 98.62| 84.27| 56.00|          0|       0.0|
03/15/2010|20:20:00|     8|  1.51|      11.7|       3517|      242| 98.61| 84.26| 56.00|        150|       0.5|
03/15/2010|20:25:00|     8|  1.09|       9.7|       2907|      241| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|20:30:00|     8|  0.93|      12.3|       3691|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|20:35:00|     8|  0.97|      10.0|       3008|      241| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|20:40:00|     8|  1.04|      11.8|       3540|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|20:45:00|     8|  1.58|      11.4|       3418|      242| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|20:50:00|     8|  1.16|      15.2|       4552|      250| 98.59| 84.24| 56.00|       8386|      28.0|
03/15/2010|20:55:00|     8|  0.90|       9.4|       2820|      250| 98.59| 84.24| 56.00|          0|       0.0|
03/15/2010|21:00:00|     8|  2.73|      13.3|       3988|      240| 98.61| 84.26| 56.00|          0|       0.0|
03/15/2010|21:05:00|     8|  2.44|      11.0|       3307|      244| 98.60| 84.25| 56.00|       8810|      29.3|
03/15/2010|21:10:00|     8|  1.05|      15.4|       4616|      247| 98.60| 84.25| 56.00|       4317|      14.4|
03/15/2010|21:15:00|     8|  1.33|      13.8|       4144|      272| 98.56| 84.21| 56.00|      24294|      80.9|
03/15/2010|21:20:00|     8|  0.90|      11.5|       3458|      272| 98.56| 84.21| 56.00|          0|       0.0|
03/15/2010|21:25:00|     8|  1.02|       9.8|       2931|      271| 98.56| 84.21| 56.00|          0|       0.0|
03/15/2010|21:30:00|     8|  1.51|      12.0|       3596|      272| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|21:35:00|     8|  0.88|       9.4|       2823|      271| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|21:40:00|     8|  1.03|      11.0|       3304|      272| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|21:45:00|     8|  1.57|      11.7|       3511|      271| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|21:50:00|     8|  1.09|      11.6|       3482|      271| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|21:55:00|     8|  1.04|       9.0|       2696|      271| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|22:00:00|     8|  1.50|      13.1|       3931|      270| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|22:05:00|     8|  1.33|       9.5|       2847|      271| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|22:10:00|     8|  1.16|      11.7|       3514|      271| 98.55| 84.20| 56.00|          0|       0.0|
03/15/2010|22:15:00|     8|  1.98|      12.7|       3817|      290| 98.52| 84.17| 56.00|          0|       0.0|
03/15/2010|22:20:00|     8|  1.30|      11.9|       3570|      282| 98.53| 84.18| 56.00|          0|       0.0|
03/15/2010|22:25:00|     8|  1.26|       9.8|       2940|      280| 98.53| 84.18| 56.00|          0|       0.0|
03/15/2010|22:30:00|     8|  1.67|      16.2|       4845|      385| 98.37| 84.02| 56.00|          0|       0.0|
03/15/2010|22:35:00|     8|  1.45|      10.0|       3003|      384| 98.37| 84.02| 56.00|          0|       0.0|
03/15/2010|22:40:00|     8|  1.19|      11.3|       3390|      383| 98.37| 84.02| 56.00|          0|       0.0|
03/15/2010|22:45:00|     8|  1.43|      11.0|       3305|      383| 98.37| 84.02| 56.00|          0|       0.0|
03/15/2010|22:50:00|     8|  1.25|      11.1|       3334|      383| 98.37| 84.02| 56.00|          0|       0.0|
03/15/2010|22:55:00|     8|  1.11|       9.6|       2878|      379| 98.38| 84.03| 56.00|          0|       0.0|
03/15/2010|23:00:00|     8|  1.08|      12.4|       3718|      378| 98.38| 84.03| 56.00|          0|       0.0|
03/15/2010|23:05:00|     8|  0.98|      12.7|       3806|      451| 98.27| 83.92| 56.00|          0|       0.0|
03/15/2010|23:10:00|     8|  1.23|      12.0|       3596|      432| 98.30| 83.95| 56.00|          0|       0.0|
03/15/2010|23:15:00|     8|  1.43|      10.2|       3062|      432| 98.30| 83.95| 56.00|          0|       0.0|
03/15/2010|23:20:00|     8|  1.17|      11.0|       3302|      431| 98.30| 83.95| 56.00|          0|       0.0|
03/15/2010|23:25:00|     8|  1.16|       9.4|       2824|      432| 98.30| 83.95| 56.00|          0|       0.0|
03/15/2010|23:30:00|     8|  1.33|      12.2|       3658|      432| 98.30| 83.95| 56.00|          0|       0.0|
03/15/2010|23:35:00|     8|  1.19|      11.5|       3451|      494| 98.20| 83.85| 56.00|          0|       0.0|
03/15/2010|23:40:00|     8|  1.21|      11.3|       3394|      493| 98.20| 83.85| 56.00|          0|       0.0|
03/15/2010|23:45:00|     8|  1.12|      15.0|       4507|      565| 98.09| 83.74| 56.00|          0|       0.0|
03/15/2010|23:50:00|     8|  1.16|      10.7|       3193|      550| 98.11| 83.76| 56.00|          0|       0.0|
03/15/2010|23:55:00|     8|  1.33|       9.6|       2883|      550| 98.11| 83.76| 56.00|          0|       0.0|
03/16/2010|00:00:00|     8|  1.39|      15.0|       4509|      548| 98.12| 83.77| 56.00|          0|       0.0|
03/16/2010|00:05:00|     8|  1.20|       9.9|       2965|      532| 98.15| 83.80| 56.00|          0|       0.0|
03/16/2010|00:10:00|     8|  1.12|      13.7|       4115|      590| 98.06| 83.71| 56.00|          0|       0.0|
03/16/2010|00:15:00|     8|  1.29|      10.7|       3211|      591| 98.06| 83.71| 56.00|          0|       0.0|
03/16/2010|00:20:00|     8|  1.07|      14.8|       4441|      586| 98.07| 83.72| 56.00|          0|       0.0|
03/16/2010|00:25:00|     8|  1.03|      11.1|       3325|      588| 98.06| 83.71| 56.00|          0|       0.0|
03/16/2010|00:30:00|     8|  1.24|      11.8|       3541|      588| 98.06| 83.71| 56.00|          0|       0.0|
03/16/2010|00:35:00|     8|  0.95|       9.4|       2824|      587| 98.06| 83.71| 56.00|          0|       0.0|
03/16/2010|00:40:00|     8|  1.51|      12.0|       3596|      583| 98.07| 83.72| 56.00|          0|       0.0|
03/16/2010|00:45:00|     8|  1.27|      14.7|       4415|      680| 97.92| 83.57| 56.00|          0|       0.0|
03/16/2010|00:50:00|     8|  2.17|     215.9|      64899|     1654| 96.43| 82.08| 55.00|          0|       0.0|
03/16/2010|00:55:00|     8|  0.98|       9.3|       2788|     1653| 96.43| 82.08| 55.00|          0|       0.0|
03/16/2010|01:00:00|     8|  2.70|      16.2|       4868|     1628| 96.47| 82.12| 55.00|          0|       0.0|
03/16/2010|01:05:00|     8|  1.13|      27.1|       8094|     1633| 96.43| 82.09| 55.00|          0|       0.0|
03/16/2010|01:10:00|     8|  1.18|      10.8|       3242|     1631| 96.45| 82.10| 55.00|          0|       0.0|
03/16/2010|01:15:00|     8|  1.58|      11.3|       3393|     1631| 96.45| 82.10| 55.00|          0|       0.0|
03/16/2010|01:20:00|     8|  1.08|      11.0|       3300|     1630| 96.45| 82.10| 55.00|          0|       0.0|
03/16/2010|01:25:00|     8|  1.12|      13.6|       4081|     1631| 96.45| 82.10| 55.00|          0|       0.0|
03/16/2010|01:30:00|     8|  1.98|      12.9|       3873|     1613| 96.47| 82.12| 55.00|          0|       0.0|
03/16/2010|01:35:00|     8|  1.17|       9.2|       2762|     1614| 96.47| 82.12| 55.00|          0|       0.0|
03/16/2010|01:40:00|     8|  0.99|      11.0|       3290|     1614| 96.47| 82.12| 55.00|          0|       0.0|
03/16/2010|01:45:00|     8|  1.04|      28.3|       8509|     1603| 96.49| 82.14| 55.00|          0|       0.0|
03/16/2010|01:50:00|     8|  1.04|      11.5|       3452|     1596| 96.50| 82.15| 55.00|          0|       0.0|
03/16/2010|01:55:00|     8|  1.48|      30.3|       9077|     1589| 96.54| 82.19| 55.00|          0|       0.0|
03/16/2010|02:00:00|     8|  3.78|      35.6|      10690|     1586| 96.53| 82.18| 55.00|          0|       0.0|
03/16/2010|02:05:00|     8|  3.28|      42.8|      12848|     1526| 96.62| 82.27| 55.00|          0|       0.0|
03/16/2010|02:10:00|     8|  1.47|      11.9|       3566|     1526| 96.63| 82.28| 55.00|          0|       0.0|
03/16/2010|02:15:00|     8|  1.48|      11.1|       3331|     1526| 96.62| 82.27| 55.00|          0|       0.0|
03/16/2010|02:20:00|     8|  1.24|      11.5|       3452|     1521| 96.63| 82.28| 55.00|          0|       0.0|
03/16/2010|02:25:00|     8|  1.41|      10.0|       3002|     1517| 96.64| 82.29| 55.00|          0|       0.0|
03/16/2010|02:30:00|     8|  2.15|      12.6|       3778|     1509| 96.65| 82.30| 55.00|          0|       0.0|
03/16/2010|02:35:00|     8|  2.40|       9.5|       2851|     1509| 96.64| 82.29| 55.00|          0|       0.0|
03/16/2010|02:40:00|     8|  1.73|      11.8|       3542|     1485| 96.68| 82.33| 55.00|          0|       0.0|
03/16/2010|02:45:00|     8|  1.61|      10.6|       3177|     1481| 96.68| 82.34| 55.00|          0|       0.0|
03/16/2010|02:50:00|     8|  2.23|      15.1|       4530|     1474| 96.73| 82.38| 55.00|          0|       0.0|
03/16/2010|02:55:00|     8|  1.01|       9.6|       2880|     1473| 96.73| 82.38| 55.00|          0|       0.0|
03/16/2010|03:00:00|     8|  1.37|      13.1|       3930|     1470| 96.73| 82.38| 55.00|          0|       0.0|
03/16/2010|03:05:00|     8|  1.43|      10.3|       3095|     1473| 96.73| 82.38| 55.00|          0|       0.0|
03/16/2010|03:10:00|     8|  1.81|      11.9|       3573|     1473| 96.73| 82.38| 55.00|          0|       0.0|
03/16/2010|03:15:00|     8|  1.66|      11.8|       3541|     1474| 96.72| 82.37| 55.00|          0|       0.0|
03/16/2010|03:20:00|     8|  1.30|      11.0|       3286|     1457| 96.75| 82.40| 55.00|          0|       0.0|
03/16/2010|03:25:00|     8|  2.66|       9.7|       2912|     1457| 96.75| 82.40| 55.00|          0|       0.0|
03/16/2010|03:30:00|     8|  2.68|      12.8|       3847|     1457| 96.75| 82.40| 55.00|          0|       0.0|
03/16/2010|03:35:00|     8|  2.40|       9.9|       2966|     1457| 96.74| 82.39| 55.00|          0|       0.0|
03/16/2010|03:40:00|     8|  1.30|      12.5|       3756|     1456| 96.74| 82.39| 55.00|          0|       0.0|
03/16/2010|03:45:00|     8|  1.63|      11.0|       3301|     1452| 96.75| 82.40| 55.00|          0|       0.0|
03/16/2010|03:50:00|     8|  3.20|      12.0|       3597|     1457| 96.74| 82.39| 55.00|          0|       0.0|
03/16/2010|03:55:00|     8|  1.55|      10.2|       3062|     1440| 96.76| 82.41| 55.00|          0|       0.0|
03/16/2010|04:00:00|     8|  3.40|      22.0|       6591|     1578| 96.55| 82.20| 55.00|          0|       0.0|
03/16/2010|04:05:00|     8|  3.51|      13.5|       4055|     1577| 96.55| 82.20| 55.00|          0|       0.0|
03/16/2010|04:10:00|     8|  2.58|      17.0|       5093|     1575| 96.57| 82.22| 55.00|          0|       0.0|
03/16/2010|04:15:00|     8|  4.11|      15.3|       4599|     1566| 96.58| 82.23| 55.00|          0|       0.0|
03/16/2010|04:20:00|     8|  4.79|      16.3|       4896|     1537| 96.62| 82.27| 55.00|          0|       0.0|
03/16/2010|04:25:00|     8|  7.41|      15.8|       4732|     1520| 96.65| 82.30| 55.00|          0|       0.0|
03/16/2010|04:30:00|     8|  4.80|      16.8|       5045|     1515| 96.65| 82.30| 55.00|          0|       0.0|
03/16/2010|04:35:00|     8|  4.26|      17.3|       5184|     1600| 96.52| 82.17| 55.00|          0|       0.0|
03/16/2010|04:40:00|     8|  4.44|      18.4|       5514|     1582| 96.54| 82.19| 55.00|          0|       0.0|
03/16/2010|04:45:00|     8|  5.00|      18.9|       5679|     1581| 96.54| 82.19| 55.00|          0|       0.0|
03/16/2010|04:50:00|     8|  6.66|      19.7|       5913|     1564| 96.56| 82.21| 55.00|          0|       0.0|
03/16/2010|04:55:00|     8| 15.52|      87.4|      26254|     1422| 96.80| 82.45| 55.00|          0|       0.0|
03/16/2010|05:00:00|     8|  9.51|      58.9|      17646|     1600| 96.67| 82.32| 55.00|          0|       0.0|
03/16/2010|05:05:00|     8|  9.16|      17.5|       5257|     1550| 96.75| 82.40| 55.00|          0|       0.0|
03/16/2010|05:10:00|     8| 12.04|      22.4|       6702|     1500| 96.84| 82.49| 55.00|          0|       0.0|
03/16/2010|05:15:00|     8| 18.78|      44.1|      13260|     1482| 96.92| 82.57| 55.00|          0|       0.0|
03/16/2010|05:20:00|     8| 15.46|      33.6|      10080|     1432| 96.98| 82.63| 55.00|          0|       0.0|
03/16/2010|05:25:00|     8| 15.33|      17.7|       5304|     1431| 96.98| 82.63| 55.00|          0|       0.0|
03/16/2010|05:30:00|     8| 16.51|      22.6|       6791|     1414| 97.00| 82.65| 55.00|          0|       0.0|
03/16/2010|05:35:00|     8| 18.49|      18.9|       5681|     1364| 97.08| 82.73| 55.00|          0|       0.0|
03/16/2010|05:40:00|     8| 23.26|      23.7|       7086|     1348| 97.09| 82.74| 55.00|          0|       0.0|
03/16/2010|05:45:00|     8| 21.66|      21.3|       6394|     1316| 97.14| 82.79| 55.00|          0|       0.0|
03/16/2010|05:50:00|     8| 31.73|      24.5|       7362|     1296| 97.17| 82.82| 55.00|          0|       0.0|
03/16/2010|05:55:00|     8| 29.03|      23.4|       7020|     1289| 97.16| 82.81| 55.00|          0|       0.0|
03/16/2010|06:00:00|     8| 28.80|      28.9|       8670|     1243| 97.22| 82.87| 55.00|          0|       0.0|
03/16/2010|06:05:00|     8| 30.26|     168.6|      50546|     1201| 97.37| 83.02| 55.00|          0|       0.0|
03/16/2010|06:10:00|     8| 33.33|      35.1|      10519|     1186| 97.37| 83.02| 55.00|          0|       0.0|
03/16/2010|06:15:00|     8| 37.29|      84.0|      25225|     1195| 97.35| 83.00| 55.00|          0|       0.0|
03/16/2010|06:20:00|     8| 31.80|      26.6|       7990|     1130| 97.43| 83.09| 55.00|          0|       0.0|
03/16/2010|06:25:00|     8| 30.80|      23.6|       7094|     1130| 97.43| 83.09| 55.00|          0|       0.0|
03/16/2010|06:30:00|     8| 31.62|      28.5|       8507|     1126| 97.43| 83.09| 55.00|          0|       0.0|
03/16/2010|06:35:00|     8| 30.11|      28.0|       8414|     1203| 97.32| 82.97| 55.00|          0|       0.0|
03/16/2010|06:40:00|     8| 45.40|      29.2|       8771|     1167| 97.36| 83.01| 55.00|          0|       0.0|
03/16/2010|06:45:00|     8| 42.61|      30.3|       9086|     1137| 97.39| 83.04| 55.00|          0|       0.0|
03/16/2010|06:50:00|     8| 48.02|      30.4|       9123|     1107| 97.43| 83.08| 55.00|          0|       0.0|
03/16/2010|06:55:00|     8| 46.96|      26.2|       7878|     1105| 97.42| 83.07| 55.00|          0|       0.0|
03/16/2010|07:00:00|     8| 50.06|      59.9|      17922|     1028| 97.53| 83.18| 55.00|          0|       0.0|
03/16/2010|07:05:00|     8| 37.17|      26.0|       7807|      995| 97.57| 83.22| 55.00|          0|       0.0|
03/16/2010|07:10:00|     8| 45.61|      30.6|       9183|      974| 97.66| 83.31| 55.00|          0|       0.0|
03/16/2010|07:15:00|     8| 37.84|      26.4|       7917|      971| 97.67| 83.32| 55.00|          0|       0.0|
03/16/2010|07:20:00|     8| 41.63|      28.8|       8645|      959| 97.68| 83.33| 55.00|          0|       0.0|
03/16/2010|07:25:00|     8| 41.22|      26.0|       7813|      934| 97.71| 83.36| 55.00|          0|       0.0|
03/16/2010|07:30:00|     8| 44.11|      32.8|       9813|      875| 97.79| 83.44| 55.00|          0|       0.0|
03/16/2010|07:35:00|     8| 43.40|      28.7|       8621|      806| 97.89| 83.54| 55.00|          0|       0.0|
03/16/2010|07:40:00|     8| 42.56|      35.5|      10642|      898| 97.74| 83.39| 55.00|          0|       0.0|
03/16/2010|07:45:00|     8| 40.02|      26.8|       8045|      862| 97.79| 83.44| 55.00|          0|       0.0|
03/16/2010|07:50:00|     8| 41.99|      29.6|       8853|      843| 97.81| 83.46| 55.00|          0|       0.0|
03/16/2010|07:55:00|     8| 36.22|      25.3|       7607|      831| 97.82| 83.47| 55.00|          0|       0.0|
03/16/2010|08:00:00|     8| 39.59|      34.5|      10374|      816| 97.84| 83.49| 55.00|          0|       0.0|
03/16/2010|08:05:00|     8| 41.00|      26.7|       8004|      785| 97.87| 83.52| 55.00|          0|       0.0|
03/16/2010|08:10:00|     8| 38.45|      32.0|       9616|      771| 97.95| 83.60| 55.00|          0|       0.0|
03/16/2010|08:15:01|     8| 44.18|      28.6|       8548|      731| 98.02| 83.67| 55.00|          0|       0.0|
03/16/2010|08:20:00|     8| 37.02|      30.7|       9234|      714| 98.04| 83.69| 55.00|          0|       0.0|
03/16/2010|08:25:00|     8| 40.68|      27.2|       8165|      705| 98.04| 83.69| 55.00|          0|       0.0|
03/16/2010|08:30:00|     8| 40.28|      31.5|       9446|      688| 98.06| 83.71| 55.00|          0|       0.0|
03/16/2010|08:35:00|     8| 43.63|      27.9|       8375|      643| 98.12| 83.77| 55.00|          0|       0.0|
03/16/2010|08:40:00|     8| 42.36|      31.3|       9377|      629| 98.13| 83.78| 55.00|          0|       0.0|
03/16/2010|08:45:00|     8| 36.26|      28.1|       8435|      625| 98.13| 83.78| 55.00|          0|       0.0|
03/16/2010|08:50:00|     8| 34.66|      29.5|       8855|      616| 98.15| 83.80| 55.00|          0|       0.0|
03/16/2010|08:55:00|     8| 40.50|      26.3|       7890|      608| 98.15| 83.80| 55.00|          0|       0.0|
03/16/2010|09:00:00|     8| 44.25|      34.0|      10217|      599| 98.16| 83.81| 55.00|          0|       0.0|
03/16/2010|09:05:00|     8| 42.65|      25.7|       7689|      600| 98.15| 83.80| 55.00|          0|       0.0|
03/16/2010|09:10:00|     8| 35.49|      30.3|       9090|      599| 98.20| 83.85| 55.00|          0|       0.0|
03/16/2010|09:15:00|     8| 36.25|      31.6|       9489|      595| 98.21| 83.86| 56.00|          0|       0.0|
03/16/2010|09:20:00|     8| 34.37|      30.9|       9285|      585| 98.22| 83.87| 56.00|          0|       0.0|
03/16/2010|09:25:00|     8| 35.18|      26.7|       8001|      575| 98.22| 83.87| 56.00|          0|       0.0|
03/16/2010|09:30:00|     8| 44.46|      32.3|       9699|      562| 98.23| 83.88| 56.00|          0|       0.0|
03/16/2010|09:35:00|     8| 37.79|      25.3|       7572|      562| 98.23| 83.88| 56.00|          0|       0.0|
03/16/2010|09:40:00|     8| 39.05|      30.6|       9192|      559| 98.24| 83.89| 56.00|          0|       0.0|
03/16/2010|09:45:00|     8| 41.02|      28.0|       8402|      555| 98.23| 83.88| 56.00|          0|       0.0|
03/16/2010|09:50:00|     8| 32.73|      30.4|       9120|      546| 98.24| 83.89| 56.00|          0|       0.0|
03/16/2010|09:55:00|     8| 40.01|      27.2|       8168|      534| 98.25| 83.90| 56.00|          0|       0.0|
03/16/2010|10:00:00|     8| 35.02|      31.9|       9557|      521| 98.27| 83.92| 56.00|          0|       0.0|
03/16/2010|10:05:00|     8| 39.48|      26.5|       7955|      510| 98.28| 83.93| 56.00|          0|       0.0|
03/16/2010|10:10:00|     8| 40.94|      30.4|       9116|      505| 98.33| 83.98| 56.00|          0|       0.0|
03/16/2010|10:15:00|     8| 37.52|      27.6|       8302|      506| 98.32| 83.97| 56.00|          0|       0.0|
03/16/2010|10:20:00|     8| 35.13|      31.4|       9423|      489| 98.35| 84.00| 56.00|          0|       0.0|
03/16/2010|10:25:00|     8| 42.51|      26.6|       7985|      485| 98.35| 84.00| 56.00|          0|       0.0|
03/16/2010|10:30:00|     8| 48.68|      30.8|       9212|      481| 98.35| 84.00| 56.00|          0|       0.0|
03/16/2010|10:35:00|     8| 44.66|      26.8|       8050|      476| 98.35| 84.00| 56.00|          0|       0.0|
03/16/2010|10:40:00|     8| 36.23|      31.0|       9300|      477| 98.35| 84.00| 56.00|          0|       0.0|
03/16/2010|10:45:00|     8| 47.71|      28.4|       8528|      463| 98.36| 84.01| 56.00|          0|       0.0|
03/16/2010|10:50:00|     8| 37.48|      30.1|       9036|      463| 98.35| 84.00| 56.00|          0|       0.0|
03/16/2010|10:55:00|     8| 43.99|      27.1|       8108|      452| 98.36| 84.01| 56.00|          0|       0.0|
03/16/2010|11:00:00|     8| 42.11|      32.1|       9652|      445| 98.38| 84.03| 56.00|          0|       0.0|
03/16/2010|11:05:00|     8| 39.34|      25.9|       7759|      448| 98.36| 84.01| 56.00|          0|       0.0|
03/16/2010|11:10:00|     8| 47.14|      31.5|       9456|      436| 98.42| 84.07| 56.00|          0|       0.0|
03/16/2010|11:15:00|     8| 46.36|      27.2|       8170|      435| 98.42| 84.07| 56.00|          0|       0.0|
03/16/2010|11:20:00|     8| 48.61|      30.9|       9248|      431| 98.43| 84.08| 56.00|          0|       0.0|
03/16/2010|11:25:00|     8| 47.56|      27.3|       8190|      431| 98.42| 84.07| 56.00|          0|       0.0|
03/16/2010|11:30:00|     8| 40.86|      32.8|       9859|      419| 98.43| 84.08| 56.00|          0|       0.0|
03/16/2010|11:35:00|     8| 47.01|      26.7|       8023|      410| 98.43| 84.08| 56.00|          0|       0.0|
03/16/2010|11:40:00|     8| 63.98|      31.5|       9459|      393| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|11:45:01|     8| 57.81|      29.5|       8814|      361| 98.50| 84.15| 56.00|          0|       0.0|
03/16/2010|11:50:00|     8| 58.10|      31.5|       9459|      350| 98.50| 84.15| 56.00|          0|       0.0|
03/16/2010|11:55:00|     8| 59.50|      27.8|       8359|      327| 98.54| 84.19| 56.00|          0|       0.0|
03/16/2010|12:00:00|     8| 50.90|      31.6|       9483|      300| 98.57| 84.22| 56.00|          0|       0.0|
03/16/2010|12:05:00|     8| 62.24|      27.2|       8140|      292| 98.58| 84.23| 56.00|          0|       0.0|
03/16/2010|12:10:00|     8| 60.12|      31.3|       9396|      290| 98.63| 84.28| 56.00|          0|       0.0|
03/16/2010|12:15:00|     8| 48.61|      28.5|       8547|      279| 98.65| 84.30| 56.00|          0|       0.0|
03/16/2010|12:20:00|     8| 47.99|      31.7|       9522|      274| 98.65| 84.30| 56.00|          0|       0.0|
03/16/2010|12:25:00|     8| 48.63|      35.8|      10757|      267| 98.64| 84.29| 56.00|          0|       0.0|
03/16/2010|12:30:00|     8| 46.44|      37.6|      11257|      262| 98.63| 84.28| 56.00|          0|       0.0|
03/16/2010|12:35:00|     8| 45.76|      30.6|       9186|      261| 98.64| 84.29| 56.00|          0|       0.0|
03/16/2010|12:40:00|     8| 62.88|     150.0|      45045|      238| 98.67| 84.32| 56.00|     144864|     482.4|
03/16/2010|12:45:00|     8| 57.78|      57.1|      17135|      237| 98.66| 84.31| 56.00|      58729|     195.7|
03/16/2010|12:50:00|     8| 56.86|      53.7|      16126|      250| 98.64| 84.29| 56.00|      63663|     212.0|
03/16/2010|12:55:00|     8| 55.02|      42.9|      12878|      251| 98.64| 84.29| 56.00|      78442|     261.3|
03/16/2010|13:00:00|     8| 62.82|     206.3|      61704|      236| 98.63| 84.28| 56.00|     473236|    1582.2|
03/16/2010|13:05:00|     8| 68.51|     106.0|      31821|      316| 98.49| 84.14| 56.00|     149109|     496.7|
03/16/2010|13:10:00|     8| 73.80|     135.1|      40557|      236| 98.62| 84.27| 56.00|     213502|     711.2|
03/16/2010|13:15:00|     8| 73.21|     122.0|      36636|      246| 98.63| 84.28| 56.00|     220089|     732.9|
03/16/2010|13:20:00|     8| 47.72|      49.1|      14734|      249| 98.61| 84.26| 56.00|      21007|      70.0|
03/16/2010|13:25:00|     8| 44.61|      50.7|      15210|      237| 98.61| 84.26| 56.00|      53610|     178.7|
03/16/2010|13:30:00|     8| 45.75|      50.6|      15134|      248| 98.59| 84.24| 56.00|      34187|     114.3|
03/16/2010|13:35:00|     8| 44.20|      29.8|       8945|      237| 98.60| 84.25| 56.00|      11707|      39.0|
03/16/2010|13:40:00|     8| 40.72|      37.4|      11246|      244| 98.58| 84.23| 56.00|      22011|      73.2|
03/16/2010|13:45:00|     8| 34.00|      30.2|       9063|      248| 98.57| 84.22| 56.00|       7982|      26.6|
03/16/2010|13:50:00|     8| 37.96|      31.7|       9510|      236| 98.58| 84.23| 56.00|      11400|      38.0|
03/16/2010|13:55:00|     8| 40.00|      30.5|       9168|      242| 98.57| 84.22| 56.00|      11543|      38.4|
03/16/2010|14:00:00|     8| 43.62|      40.7|      12153|      241| 98.56| 84.21| 56.00|      19737|      66.1|
03/16/2010|14:05:00|     8| 32.55|      26.1|       7843|      238| 98.57| 84.22| 56.00|       6611|      22.0|
03/16/2010|14:10:00|     8| 35.00|      29.0|       8700|      238| 98.61| 84.26| 56.00|      12630|      42.1|
03/16/2010|14:15:00|     8| 24.12|      23.6|       7089|      241| 98.61| 84.26| 56.00|       8381|      27.9|
03/16/2010|14:20:00|     8| 27.72|      27.0|       8102|      239| 98.61| 84.26| 56.00|       8042|      26.8|
03/16/2010|14:25:00|     8| 24.26|      22.0|       6589|      245| 98.60| 84.25| 56.00|       6768|      22.6|
03/16/2010|14:30:00|     8| 19.57|      23.5|       7061|      240| 98.60| 84.25| 56.00|        450|       1.5|
03/16/2010|14:35:00|     8| 16.96|      20.1|       6034|      239| 98.60| 84.25| 56.00|       5943|      19.8|
03/16/2010|14:40:00|     8| 15.61|      22.1|       6634|      239| 98.59| 84.24| 56.00|       4683|      15.6|
03/16/2010|14:45:00|     8| 15.12|      19.5|       5853|      239| 98.59| 84.24| 56.00|       2101|       7.0|
03/16/2010|14:50:00|     8| 15.77|      32.1|       9630|      248| 98.55| 84.20| 56.00|      21120|      70.4|
03/16/2010|14:55:00|     8| 25.17|     332.0|      99301|      368| 98.21| 83.86| 56.00|     145123|     485.2|
03/16/2010|15:00:00|     8| 17.01|      29.0|       8711|      339| 98.24| 83.89| 56.00|          0|       0.0|
03/16/2010|15:05:00|     8| 18.34|      17.0|       5105|      338| 98.38| 84.03| 56.00|          0|       0.0|
03/16/2010|15:10:00|     8| 34.16|      19.8|       5934|      335| 98.41| 84.06| 56.00|          0|       0.0|
03/16/2010|15:15:00|     8| 32.27|      39.5|      11873|      304| 98.47| 84.12| 56.00|          0|       0.0|
03/16/2010|15:20:00|     8| 40.68|      20.6|       6175|      306| 98.45| 84.10| 56.00|          0|       0.0|
03/16/2010|15:25:00|     8| 36.30|      15.9|       4773|      304| 98.45| 84.10| 56.00|          0|       0.0|
03/16/2010|15:30:00|     8| 21.00|      19.9|       5962|      303| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|15:35:00|     8| 17.41|      15.4|       4623|      295| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|15:40:00|     8|  4.87|      17.5|       5248|      297| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|15:45:00|     8|  9.53|      16.0|       4806|      316| 98.42| 84.07| 56.00|          0|       0.0|
03/16/2010|15:50:00|     8| 11.21|      18.0|       5400|      315| 98.43| 84.08| 56.00|          0|       0.0|
03/16/2010|15:55:00|     8| 10.32|      13.3|       3995|      313| 98.43| 84.08| 56.00|          0|       0.0|
03/16/2010|16:00:00|     8| 10.17|      17.6|       5281|      314| 98.42| 84.07| 56.00|          0|       0.0|
03/16/2010|16:05:00|     8|  6.47|      12.8|       3833|      313| 98.42| 84.07| 56.00|          0|       0.0|
03/16/2010|16:10:00|     8|  7.26|      15.4|       4615|      309| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|16:15:00|     8|  8.00|      14.1|       4237|      308| 98.45| 84.10| 56.00|          0|       0.0|
03/16/2010|16:20:00|     8|  7.68|      15.3|       4588|      306| 98.45| 84.10| 56.00|          0|       0.0|
03/16/2010|16:25:00|     8| 11.29|      14.3|       4301|      304| 98.45| 84.10| 56.00|          0|       0.0|
03/16/2010|16:30:00|     8|  7.94|      16.0|       4796|      304| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|16:35:01|     8|  5.91|      12.5|       3737|      304| 98.46| 84.11| 56.00|          0|       0.0|
03/16/2010|16:40:00|     8|  7.23|      15.5|       4653|      303| 98.45| 84.10| 56.00|          0|       0.0|
03/16/2010|16:45:00|     8|  5.94|      13.3|       3995|      304| 98.45| 84.10| 56.00|          0|       0.0|

3. Plot the metric data using your favorite spreadsheet or command line utilities. Along this article, GNUPLOT Posix shell scripts will be use.

Plot Resource Utilization Percentages:

cat > global_cpumem.plot << EOF
<gnuplot>
set size 1, 1
set yrange [0:120]
set xrange [1:300]
set xlabel "Samples"
plot '-' using 1:2 title 'CPU %' with lines, \\
     '-' using 1:3 title 'Memory %' with lines, \\
     '-' using 1:4 title 'User Memory %' with lines, \\
	 '-' using 1:5 title 'SWAP %' with lines
<plotdata>
EOF
 
tail -n $(expr $(wc -l global_cpumem.out | cut -d" " -f 1) - 3 ) global_cpumem.out | \
awk -F'|' 'BEGIN {LINE=1; printf "#Sample\tCPU\tMemory\tUser Memory\n"; } { 
   printf "%-6d\t%4.2f\t%4.2f\t%4.2f\t%4.2f\n", LINE, $4, $8, $9, $10
   LINE++
   }' >> global_cpumem.plot
 
cat >> global_cpumem.plot << EOF
</plotdata>
</gnuplot>
EOF

GnuplotBasic Plot

Plot Page Out KB:

export TOP=$(tail -n $(expr $(wc -l global_cpumem.out | cut -d" " -f 1) - 3 ) global_cpumem.out |
sort -nrk 11,11 | head -n 1 | awk -F"|" '{print $11}')
 
TOP=$(echo $(( ${TOP} * 110 / 100 )) )
 
cat > pageout.plot << EOF
<gnuplot>
set size 1, 0.5
set yrange [0:$TOP]
set xrange [1:300]
set xlabel "Samples"
plot '-' using 1:2 title 'Pg Out KB' with lines
<plotdata>
EOF
 
tail -n $(expr $(wc -l global_cpumem.out | cut -d" " -f 1) - 3 ) global_cpumem.out | \
awk -F'|' 'BEGIN {LINE=1; printf "#Sample\tPg Out KB\n"; } { 
   printf "%-6d\t%10d\n", LINE, $11
   LINE++
   }' >> pageout.plot
 
cat >> pageout.plot << EOF
</plotdata>
</gnuplot>
EOF

GnuplotBasic Plot

CPU Bottleneck

  • CPU Bottleneck Recipe Ingredients:
    • Consistent high global CPU utilization (GBL_CPU_TOTAL_UTIL > 90%), and
    • Significant Run Queue (Load Average) or processes consistently blocked on Priority (GBL_RUN_QUEUE > 3 or GBL_PRI_QUEUE > 3).
    • Important Proceses often showing as blocked on Priority (waiting for CPU) (PROC_STOP_REASON = PRI)
  • User CPU Bottleneck Recipe Ingredients:
    • Most of the time spend in user code (GBL_CPU_USER_MODE_UTIL > 50%)
  • System CPU Bottleneck Recipe Ingredients:
    • Most of the time spend in user code (GBL_CPU_SYS_MODE_UTIL > 50%)
  • Context Switching Bottlenecks:
    • Lots of CPU time spent Switching (GBL_CPU_CSWITCH_UTIL > 30%)

1. Create a cpu.rept report file to obtain key CPU, Memory and I/O subsystem metrics.

cat > cpu.rept << EOF
REPORT "OVPA Export !DATE !TIME Logfile: !LOGFILE !COLLECTOR !SYSTEM_ID"
FORMAT ASCII
HEADINGS ON
SEPARATOR="|"
SUMMARY=60
MISSING=0
DATA TYPE GLOBAL
DATE
TIME
GBL_ACTIVE_CPU
GBL_CPU_TOTAL_UTIL
GBL_RUN_QUEUE
GBL_PRI_QUEUE
GBL_CPU_USER_MODE_UTIL
GBL_CPU_SYS_MODE_UTIL
GBL_CPU_CSWITCH_UTIL 
EOF

2. Extract the metric data using the extract command with cpu.rept report file.

/opt/perf/bin/extract -g -xp -r cpu.rept \
-f cpu.rept.out,purge \
-b "03/15/2010 16:50:00" -e "03/16/2010 16:50:00"
OVPA Export 03/17/10 19:43    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |Active|      | Run  | Pri  | User |System|CSwtch|
   Date   |  Time  | CPUs |CPU % |Queue |Queue |CPU % |CPU % |CPU % |
03/15/2010|16:50:00|     8|  3.32|  0.04|  0.00|  2.69|  0.63|  0.01|
03/15/2010|16:55:00|     8|  3.88|  0.04|  0.00|  3.22|  0.66|  0.01|
03/15/2010|17:00:00|     8|  4.00|  0.05|  0.00|  3.33|  0.68|  0.01|
03/15/2010|17:05:00|     8|  2.66|  0.02|  0.00|  2.09|  0.58|  0.01|
03/15/2010|17:10:00|     8|  2.10|  0.02|  0.00|  1.55|  0.56|  0.01|
03/15/2010|17:15:00|     8|  2.51|  0.02|  0.00|  1.89|  0.62|  0.01|
03/15/2010|17:20:00|     8|  1.87|  0.02|  0.00|  1.36|  0.51|  0.01|
03/15/2010|17:25:00|     8|  2.30|  0.03|  0.00|  1.74|  0.56|  0.01|
03/15/2010|17:30:00|     8|  2.96|  0.05|  0.00|  2.31|  0.65|  0.01|
03/15/2010|17:35:01|     8|  3.84|  0.06|  0.00|  3.29|  0.55|  0.01|
03/15/2010|17:40:00|     8|  2.66|  0.03|  0.00|  2.08|  0.58|  0.01|
03/15/2010|17:45:00|     8|  1.73|  0.03|  0.00|  1.14|  0.59|  0.01|
03/15/2010|17:50:00|     8|  1.89|  0.03|  0.00|  1.34|  0.55|  0.01|
03/15/2010|17:55:00|     8|  2.18|  0.01|  0.00|  1.63|  0.55|  0.01|
03/15/2010|18:00:00|     8|  1.69|  0.01|  0.00|  1.09|  0.60|  0.01|
03/15/2010|18:05:00|     8|  1.50|  0.01|  0.00|  0.99|  0.51|  0.01|
03/15/2010|18:10:00|     8|  1.55|  0.01|  0.00|  1.04|  0.51|  0.01|
03/15/2010|18:15:00|     8|  1.51|  0.01|  0.00|  0.95|  0.56|  0.01|
03/15/2010|18:20:00|     8|  1.44|  0.01|  0.00|  0.96|  0.48|  0.00|
03/15/2010|18:25:00|     8|  1.07|  0.02|  0.00|  0.59|  0.49|  0.01|
03/15/2010|18:30:00|     8|  2.05|  0.04|  0.00|  1.47|  0.58|  0.01|
03/15/2010|18:35:00|     8|  1.46|  0.03|  0.00|  0.98|  0.48|  0.01|
03/15/2010|18:40:00|     8|  1.16|  0.03|  0.00|  0.65|  0.51|  0.01|
03/15/2010|18:45:00|     8|  1.14|  0.02|  0.00|  0.59|  0.55|  0.00|
03/15/2010|18:50:01|     8|  1.01|  0.01|  0.00|  0.53|  0.48|  0.01|
03/15/2010|18:55:00|     8|  1.22|  0.02|  0.00|  0.72|  0.50|  0.01|
03/15/2010|19:00:00|     8|  1.90|  0.03|  0.00|  1.32|  0.58|  0.01|
03/15/2010|19:05:00|     8|  1.26|  0.03|  0.00|  0.79|  0.47|  0.00|
03/15/2010|19:10:00|     8|  1.54|  0.04|  0.00|  1.03|  0.51|  0.00|
03/15/2010|19:15:00|     8|  1.83|  0.03|  0.00|  1.25|  0.58|  0.01|
03/15/2010|19:20:00|     8|  1.37|  0.02|  0.00|  0.86|  0.51|  0.01|
03/15/2010|19:25:00|     8|  1.41|  0.02|  0.00|  0.90|  0.51|  0.00|
03/15/2010|19:30:00|     8|  1.58|  0.02|  0.00|  1.04|  0.54|  0.01|
03/15/2010|19:35:00|     8|  1.30|  0.02|  0.00|  0.84|  0.46|  0.00|
03/15/2010|19:40:00|     8|  1.55|  0.01|  0.00|  1.04|  0.51|  0.01|
03/15/2010|19:45:00|     8|  1.45|  0.02|  0.00|  0.91|  0.54|  0.01|
03/15/2010|19:50:00|     8|  2.13|  0.03|  0.00|  1.61|  0.52|  0.01|
03/15/2010|19:55:00|     8|  2.33|  0.02|  0.00|  1.82|  0.51|  0.00|
03/15/2010|20:00:00|     8|  1.12|  0.01|  0.00|  0.58|  0.54|  0.01|
03/15/2010|20:05:00|     8|  1.57|  0.02|  0.00|  1.09|  0.48|  0.00|
03/15/2010|20:10:00|     8|  1.91|  0.02|  0.00|  1.40|  0.51|  0.01|
03/15/2010|20:15:00|     8|  1.73|  0.02|  0.00|  1.16|  0.57|  0.01|
03/15/2010|20:20:00|     8|  1.51|  0.02|  0.00|  1.00|  0.51|  0.01|
03/15/2010|20:25:00|     8|  1.09|  0.01|  0.00|  0.62|  0.47|  0.01|
03/15/2010|20:30:00|     8|  0.93|  0.02|  0.00|  0.42|  0.52|  0.00|
03/15/2010|20:35:00|     8|  0.97|  0.01|  0.00|  0.52|  0.45|  0.00|
03/15/2010|20:40:00|     8|  1.04|  0.01|  0.00|  0.56|  0.48|  0.01|
03/15/2010|20:45:00|     8|  1.58|  0.02|  0.00|  1.04|  0.55|  0.01|
03/15/2010|20:50:00|     8|  1.16|  0.01|  0.00|  0.67|  0.49|  0.01|
03/15/2010|20:55:00|     8|  0.90|  0.02|  0.00|  0.45|  0.45|  0.00|
03/15/2010|21:00:00|     8|  2.73|  0.07|  0.00|  2.10|  0.63|  0.01|
03/15/2010|21:05:00|     8|  2.44|  0.03|  0.00|  1.89|  0.55|  0.01|
03/15/2010|21:10:00|     8|  1.05|  0.03|  0.00|  0.56|  0.50|  0.01|
03/15/2010|21:15:00|     8|  1.33|  0.03|  0.00|  0.77|  0.56|  0.01|
03/15/2010|21:20:00|     8|  0.90|  0.03|  0.00|  0.42|  0.48|  0.00|
03/15/2010|21:25:00|     8|  1.02|  0.03|  0.00|  0.57|  0.45|  0.01|
03/15/2010|21:30:00|     8|  1.51|  0.03|  0.00|  0.96|  0.55|  0.01|
03/15/2010|21:35:00|     8|  0.88|  0.02|  0.00|  0.45|  0.43|  0.00|
03/15/2010|21:40:00|     8|  1.03|  0.02|  0.00|  0.55|  0.48|  0.00|
03/15/2010|21:45:00|     8|  1.57|  0.01|  0.00|  1.01|  0.56|  0.01|
03/15/2010|21:50:00|     8|  1.09|  0.01|  0.00|  0.61|  0.48|  0.00|
03/15/2010|21:55:00|     8|  1.04|  0.01|  0.00|  0.58|  0.47|  0.01|
03/15/2010|22:00:00|     8|  1.50|  0.01|  0.00|  0.95|  0.55|  0.01|
03/15/2010|22:05:00|     8|  1.33|  0.03|  0.00|  0.85|  0.48|  0.01|
03/15/2010|22:10:00|     8|  1.16|  0.03|  0.00|  0.68|  0.48|  0.00|
03/15/2010|22:15:00|     8|  1.98|  0.05|  0.00|  1.38|  0.60|  0.01|
03/15/2010|22:20:00|     8|  1.30|  0.04|  0.00|  0.80|  0.50|  0.01|
03/15/2010|22:25:00|     8|  1.26|  0.04|  0.00|  0.77|  0.49|  0.01|
03/15/2010|22:30:00|     8|  1.67|  0.04|  0.00|  1.09|  0.58|  0.01|
03/15/2010|22:35:00|     8|  1.45|  0.04|  0.00|  0.94|  0.51|  0.01|
03/15/2010|22:40:00|     8|  1.19|  0.02|  0.00|  0.70|  0.49|  0.01|
03/15/2010|22:45:00|     8|  1.43|  0.02|  0.00|  0.88|  0.55|  0.01|
03/15/2010|22:50:00|     8|  1.25|  0.02|  0.00|  0.74|  0.51|  0.00|
03/15/2010|22:55:00|     8|  1.11|  0.04|  0.00|  0.63|  0.48|  0.01|
03/15/2010|23:00:00|     8|  1.08|  0.03|  0.00|  0.59|  0.50|  0.01|
03/15/2010|23:05:00|     8|  0.98|  0.01|  0.00|  0.50|  0.48|  0.01|
03/15/2010|23:10:00|     8|  1.23|  0.02|  0.00|  0.74|  0.49|  0.01|
03/15/2010|23:15:00|     8|  1.43|  0.02|  0.00|  0.88|  0.55|  0.01|
03/15/2010|23:20:00|     8|  1.17|  0.01|  0.00|  0.67|  0.50|  0.00|
03/15/2010|23:25:00|     8|  1.16|  0.01|  0.00|  0.69|  0.47|  0.00|
03/15/2010|23:30:00|     8|  1.33|  0.01|  0.00|  0.83|  0.51|  0.01|
03/15/2010|23:35:00|     8|  1.19|  0.01|  0.00|  0.69|  0.50|  0.00|
03/15/2010|23:40:00|     8|  1.21|  0.01|  0.00|  0.71|  0.50|  0.00|
03/15/2010|23:45:00|     8|  1.12|  0.01|  0.00|  0.58|  0.54|  0.00|
03/15/2010|23:50:00|     8|  1.16|  0.01|  0.00|  0.69|  0.48|  0.01|
03/15/2010|23:55:00|     8|  1.33|  0.02|  0.00|  0.82|  0.52|  0.00|
03/16/2010|00:00:00|     8|  1.39|  0.01|  0.00|  0.85|  0.54|  0.01|
03/16/2010|00:05:00|     8|  1.20|  0.01|  0.00|  0.72|  0.48|  0.01|
03/16/2010|00:10:00|     8|  1.12|  0.01|  0.00|  0.64|  0.48|  0.00|
03/16/2010|00:15:00|     8|  1.29|  0.02|  0.00|  0.74|  0.55|  0.00|
03/16/2010|00:20:00|     8|  1.07|  0.01|  0.00|  0.59|  0.49|  0.00|
03/16/2010|00:25:00|     8|  1.03|  0.02|  0.00|  0.56|  0.47|  0.01|
03/16/2010|00:30:00|     8|  1.24|  0.04|  0.00|  0.73|  0.51|  0.01|
03/16/2010|00:35:00|     8|  0.95|  0.03|  0.00|  0.50|  0.45|  0.00|
03/16/2010|00:40:00|     8|  1.51|  0.03|  0.00|  1.00|  0.51|  0.01|
03/16/2010|00:45:00|     8|  1.27|  0.01|  0.00|  0.75|  0.52|  0.00|
03/16/2010|00:50:00|     8|  2.17|  0.06|  0.03|  1.04|  1.13|  0.02|
03/16/2010|00:55:00|     8|  0.98|  0.04|  0.00|  0.52|  0.46|  0.01|
03/16/2010|01:00:00|     8|  2.70|  0.05|  0.00|  2.00|  0.70|  0.02|
03/16/2010|01:05:00|     8|  1.13|  0.04|  0.00|  0.65|  0.48|  0.01|
03/16/2010|01:10:00|     8|  1.18|  0.04|  0.00|  0.71|  0.48|  0.00|
03/16/2010|01:15:00|     8|  1.58|  0.05|  0.00|  1.04|  0.54|  0.00|
03/16/2010|01:20:00|     8|  1.08|  0.05|  0.00|  0.62|  0.46|  0.01|
03/16/2010|01:25:00|     8|  1.12|  0.04|  0.00|  0.63|  0.49|  0.00|
03/16/2010|01:30:00|     8|  1.98|  0.02|  0.00|  1.46|  0.52|  0.01|
03/16/2010|01:35:00|     8|  1.17|  0.00|  0.00|  0.72|  0.45|  0.00|
03/16/2010|01:40:00|     8|  0.99|  0.00|  0.00|  0.52|  0.47|  0.01|
03/16/2010|01:45:00|     8|  1.04|  0.00|  0.00|  0.45|  0.59|  0.00|
03/16/2010|01:50:00|     8|  1.04|  0.00|  0.00|  0.58|  0.47|  0.00|
03/16/2010|01:55:00|     8|  1.48|  0.00|  0.00|  0.79|  0.69|  0.01|
03/16/2010|02:00:00|     8|  3.78|  0.03|  0.00|  2.99|  0.79|  0.01|
03/16/2010|02:05:00|     8|  3.28|  0.02|  0.00|  2.53|  0.75|  0.02|
03/16/2010|02:10:00|     8|  1.47|  0.02|  0.00|  0.97|  0.50|  0.01|
03/16/2010|02:15:00|     8|  1.48|  0.02|  0.00|  0.93|  0.55|  0.01|
03/16/2010|02:20:00|     8|  1.24|  0.02|  0.00|  0.74|  0.50|  0.00|
03/16/2010|02:25:00|     8|  1.41|  0.02|  0.00|  0.93|  0.48|  0.00|
03/16/2010|02:30:00|     8|  2.15|  0.03|  0.00|  1.61|  0.54|  0.01|
03/16/2010|02:35:00|     8|  2.40|  0.03|  0.00|  1.88|  0.52|  0.01|
03/16/2010|02:40:00|     8|  1.73|  0.02|  0.00|  1.22|  0.51|  0.00|
03/16/2010|02:45:00|     8|  1.61|  0.03|  0.00|  1.09|  0.52|  0.01|
03/16/2010|02:50:00|     8|  2.23|  0.03|  0.00|  1.43|  0.80|  0.01|
03/16/2010|02:55:00|     8|  1.01|  0.02|  0.00|  0.56|  0.45|  0.01|
03/16/2010|03:00:00|     8|  1.37|  0.02|  0.00|  0.90|  0.47|  0.01|
03/16/2010|03:05:00|     8|  1.43|  0.01|  0.00|  0.93|  0.50|  0.01|
03/16/2010|03:10:00|     8|  1.81|  0.01|  0.00|  1.30|  0.51|  0.01|
03/16/2010|03:15:00|     8|  1.66|  0.01|  0.00|  1.09|  0.57|  0.01|
03/16/2010|03:20:00|     8|  1.30|  0.01|  0.00|  0.82|  0.48|  0.01|
03/16/2010|03:25:00|     8|  2.66|  0.03|  0.00|  2.18|  0.48|  0.01|
03/16/2010|03:30:00|     8|  2.68|  0.04|  0.00|  2.12|  0.57|  0.01|
03/16/2010|03:35:00|     8|  2.40|  0.05|  0.00|  1.92|  0.49|  0.01|
03/16/2010|03:40:00|     8|  1.30|  0.04|  0.00|  0.80|  0.50|  0.00|
03/16/2010|03:45:00|     8|  1.63|  0.04|  0.00|  1.08|  0.55|  0.01|
03/16/2010|03:50:00|     8|  3.20|  0.04|  0.00|  2.64|  0.56|  0.01|
03/16/2010|03:55:00|     8|  1.55|  0.04|  0.00|  1.06|  0.49|  0.01|
03/16/2010|04:00:00|     8|  3.40|  0.05|  0.00|  2.72|  0.68|  0.02|
03/16/2010|04:05:00|     8|  3.51|  0.06|  0.00|  2.93|  0.58|  0.01|
03/16/2010|04:10:00|     8|  2.58|  0.04|  0.00|  2.04|  0.54|  0.01|
03/16/2010|04:15:00|     8|  4.11|  0.06|  0.00|  3.49|  0.62|  0.01|
03/16/2010|04:20:00|     8|  4.79|  0.07|  0.00|  4.17|  0.62|  0.01|
03/16/2010|04:25:00|     8|  7.41|  0.10|  0.00|  6.75|  0.66|  0.02|
03/16/2010|04:30:00|     8|  4.80|  0.06|  0.00|  4.15|  0.65|  0.01|
03/16/2010|04:35:00|     8|  4.26|  0.05|  0.00|  3.67|  0.59|  0.01|
03/16/2010|04:40:00|     8|  4.44|  0.03|  0.00|  3.74|  0.70|  0.02|
03/16/2010|04:45:00|     8|  5.00|  0.04|  0.00|  4.28|  0.72|  0.01|
03/16/2010|04:50:00|     8|  6.66|  0.05|  0.00|  5.89|  0.77|  0.02|
03/16/2010|04:55:00|     8| 15.52|  0.16|  0.02| 13.89|  1.63|  0.05|
03/16/2010|05:00:00|     8|  9.51|  0.09|  0.01|  8.14|  1.37|  0.03|
03/16/2010|05:05:00|     8|  9.16|  0.10|  0.01|  8.05|  1.11|  0.03|
03/16/2010|05:10:00|     8| 12.04|  0.11|  0.02| 10.78|  1.27|  0.04|
03/16/2010|05:15:00|     8| 18.78|  0.21|  0.03| 17.03|  1.75|  0.05|
03/16/2010|05:20:00|     8| 15.46|  0.15|  0.02| 14.05|  1.41|  0.04|
03/16/2010|05:25:00|     8| 15.33|  0.14|  0.02| 14.01|  1.32|  0.04|
03/16/2010|05:30:00|     8| 16.51|  0.17|  0.02| 15.03|  1.48|  0.04|
03/16/2010|05:35:00|     8| 18.49|  0.18|  0.03| 16.93|  1.56|  0.04|
03/16/2010|05:40:00|     8| 23.26|  0.27|  0.04| 21.43|  1.83|  0.06|
03/16/2010|05:45:00|     8| 21.66|  0.24|  0.04| 19.61|  2.05|  0.06|
03/16/2010|05:50:00|     8| 31.73|  0.34|  0.07| 29.42|  2.31|  0.07|
03/16/2010|05:55:00|     8| 29.03|  0.32|  0.06| 26.60|  2.43|  0.08|
03/16/2010|06:00:00|     8| 28.80|  0.29|  0.07| 26.25|  2.55|  0.07|
03/16/2010|06:05:00|     8| 30.26|  0.27|  0.08| 26.56|  3.70|  0.11|
03/16/2010|06:10:00|     8| 33.33|  0.37|  0.08| 30.52|  2.81|  0.08|
03/16/2010|06:15:00|     8| 37.29|  0.47|  0.10| 33.96|  3.33|  0.10|
03/16/2010|06:20:00|     8| 31.80|  0.33|  0.07| 28.93|  2.87|  0.07|
03/16/2010|06:25:00|     8| 30.80|  0.32|  0.08| 27.89|  2.91|  0.08|
03/16/2010|06:30:00|     8| 31.62|  0.27|  0.07| 28.58|  3.04|  0.08|
03/16/2010|06:35:00|     8| 30.11|  0.40|  0.07| 26.93|  3.18|  0.07|
03/16/2010|06:40:00|     8| 45.40|  0.50|  0.14| 41.94|  3.46|  0.09|
03/16/2010|06:45:00|     8| 42.61|  0.48|  0.14| 39.13|  3.48|  0.09|
03/16/2010|06:50:00|     8| 48.02|  0.53|  0.16| 44.39|  3.63|  0.09|
03/16/2010|06:55:00|     8| 46.96|  0.60|  0.20| 42.87|  4.09|  0.12|
03/16/2010|07:00:00|     8| 50.06|  0.84|  0.55| 45.14|  4.92|  0.14|
03/16/2010|07:05:00|     8| 37.17|  0.36|  0.12| 33.20|  3.97|  0.09|
03/16/2010|07:10:00|     8| 45.61|  0.51|  0.15| 41.54|  4.07|  0.10|
03/16/2010|07:15:00|     8| 37.84|  0.40|  0.12| 33.95|  3.89|  0.09|
03/16/2010|07:20:00|     8| 41.63|  0.45|  0.13| 37.47|  4.16|  0.09|
03/16/2010|07:25:00|     8| 41.22|  0.41|  0.14| 37.00|  4.22|  0.09|
03/16/2010|07:30:00|     8| 44.11|  0.59|  0.21| 39.64|  4.47|  0.11|
03/16/2010|07:35:00|     8| 43.40|  0.47|  0.16| 38.79|  4.61|  0.13|
03/16/2010|07:40:00|     8| 42.56|  0.42|  0.16| 38.18|  4.38|  0.10|
03/16/2010|07:45:00|     8| 40.02|  0.40|  0.14| 35.77|  4.25|  0.09|
03/16/2010|07:50:00|     8| 41.99|  0.42|  0.15| 37.75|  4.24|  0.09|
03/16/2010|07:55:00|     8| 36.22|  0.41|  0.13| 32.11|  4.11|  0.09|
03/16/2010|08:00:00|     8| 39.59|  0.47|  0.15| 35.41|  4.19|  0.09|
03/16/2010|08:05:00|     8| 41.00|  0.39|  0.16| 36.59|  4.41|  0.09|
03/16/2010|08:10:00|     8| 38.45|  0.42|  0.19| 34.07|  4.38|  0.09|
03/16/2010|08:15:01|     8| 44.18|  0.39|  0.19| 39.66|  4.52|  0.10|
03/16/2010|08:20:00|     8| 37.02|  0.34|  0.13| 32.82|  4.20|  0.09|
03/16/2010|08:25:00|     8| 40.68|  0.46|  0.16| 36.32|  4.36|  0.09|
03/16/2010|08:30:00|     8| 40.28|  0.39|  0.13| 35.90|  4.38|  0.09|
03/16/2010|08:35:00|     8| 43.63|  0.47|  0.18| 39.13|  4.50|  0.09|
03/16/2010|08:40:00|     8| 42.36|  0.38|  0.21| 37.75|  4.61|  0.10|
03/16/2010|08:45:00|     8| 36.26|  0.35|  0.12| 31.85|  4.41|  0.08|
03/16/2010|08:50:00|     8| 34.66|  0.40|  0.09| 30.58|  4.09|  0.07|
03/16/2010|08:55:00|     8| 40.50|  0.43|  0.17| 35.98|  4.52|  0.09|
03/16/2010|09:00:00|     8| 44.25|  0.50|  0.25| 39.25|  5.00|  0.12|
03/16/2010|09:05:00|     8| 42.65|  0.55|  0.19| 38.02|  4.63|  0.10|
03/16/2010|09:10:00|     8| 35.49|  0.37|  0.11| 31.20|  4.29|  0.08|
03/16/2010|09:15:00|     8| 36.25|  0.36|  0.11| 31.76|  4.49|  0.08|
03/16/2010|09:20:00|     8| 34.37|  0.38|  0.10| 29.98|  4.39|  0.08|
03/16/2010|09:25:00|     8| 35.18|  0.40|  0.10| 30.68|  4.50|  0.08|
03/16/2010|09:30:00|     8| 44.46|  0.50|  0.16| 39.53|  4.93|  0.10|
03/16/2010|09:35:00|     8| 37.79|  0.42|  0.11| 33.22|  4.57|  0.09|
03/16/2010|09:40:00|     8| 39.05|  0.56|  0.15| 34.34|  4.71|  0.09|
03/16/2010|09:45:00|     8| 41.02|  0.47|  0.15| 36.06|  4.96|  0.09|
03/16/2010|09:50:00|     8| 32.73|  0.36|  0.09| 28.18|  4.55|  0.08|
03/16/2010|09:55:00|     8| 40.01|  0.43|  0.14| 35.20|  4.81|  0.09|
03/16/2010|10:00:00|     8| 35.02|  0.34|  0.11| 30.36|  4.66|  0.09|
03/16/2010|10:05:00|     8| 39.48|  0.44|  0.14| 34.66|  4.83|  0.09|
03/16/2010|10:10:00|     8| 40.94|  0.41|  0.13| 36.22|  4.72|  0.09|
03/16/2010|10:15:00|     8| 37.52|  0.38|  0.11| 32.90|  4.62|  0.08|
03/16/2010|10:20:00|     8| 35.13|  0.35|  0.10| 30.57|  4.56|  0.08|
03/16/2010|10:25:00|     8| 42.51|  0.53|  0.15| 37.70|  4.81|  0.09|
03/16/2010|10:30:00|     8| 48.68|  0.54|  0.18| 43.76|  4.92|  0.10|
03/16/2010|10:35:00|     8| 44.66|  0.49|  0.14| 40.04|  4.62|  0.08|
03/16/2010|10:40:00|     8| 36.23|  0.38|  0.10| 31.70|  4.53|  0.08|
03/16/2010|10:45:00|     8| 47.71|  0.50|  0.21| 42.76|  4.96|  0.10|
03/16/2010|10:50:00|     8| 37.48|  0.44|  0.12| 32.87|  4.61|  0.08|
03/16/2010|10:55:00|     8| 43.99|  0.49|  0.16| 39.27|  4.72|  0.09|
03/16/2010|11:00:00|     8| 42.11|  0.46|  0.18| 37.25|  4.86|  0.10|
03/16/2010|11:05:00|     8| 39.34|  0.39|  0.12| 34.71|  4.63|  0.09|
03/16/2010|11:10:00|     8| 47.14|  0.43|  0.22| 42.14|  5.00|  0.10|
03/16/2010|11:15:00|     8| 46.36|  0.51|  0.22| 41.19|  5.17|  0.11|
03/16/2010|11:20:00|     8| 48.61|  0.48|  0.31| 43.48|  5.13|  0.11|
03/16/2010|11:25:00|     8| 47.56|  0.52|  0.19| 42.45|  5.11|  0.10|
03/16/2010|11:30:00|     8| 40.86|  0.42|  0.15| 35.93|  4.93|  0.09|
03/16/2010|11:35:00|     8| 47.01|  0.54|  0.26| 41.85|  5.16|  0.10|
03/16/2010|11:40:00|     8| 63.98|  0.81|  0.60| 57.94|  6.04|  0.14|
03/16/2010|11:45:01|     8| 57.81|  0.67|  0.62| 51.85|  5.96|  0.13|
03/16/2010|11:50:00|     8| 58.10|  0.71|  0.59| 51.67|  6.43|  0.13|
03/16/2010|11:55:00|     8| 59.50|  0.55|  0.46| 52.28|  7.22|  0.12|
03/16/2010|12:00:00|     8| 50.90|  0.58|  0.31| 45.61|  5.29|  0.10|
03/16/2010|12:05:00|     8| 62.24|  0.76|  0.43| 56.90|  5.34|  0.11|
03/16/2010|12:10:00|     8| 60.12|  0.65|  0.38| 54.92|  5.21|  0.11|
03/16/2010|12:15:00|     8| 48.61|  0.52|  0.19| 43.61|  5.00|  0.10|
03/16/2010|12:20:00|     8| 47.99|  0.50|  0.19| 43.01|  4.98|  0.10|
03/16/2010|12:25:00|     8| 48.63|  0.53|  0.21| 43.48|  5.15|  0.10|
03/16/2010|12:30:00|     8| 46.44|  0.48|  0.19| 41.22|  5.22|  0.11|
03/16/2010|12:35:00|     8| 45.76|  0.54|  0.24| 40.63|  5.13|  0.10|
03/16/2010|12:40:00|     8| 62.88|  1.57|  4.54| 25.82| 37.06|  2.67|
03/16/2010|12:45:00|     8| 57.78|  1.37|  4.79|  8.78| 49.00|  3.85|
03/16/2010|12:50:00|     8| 56.86|  1.43|  4.56|  8.30| 48.56|  3.83|
03/16/2010|12:55:00|     8| 55.02|  1.31|  3.95|  6.75| 48.27|  3.81|
03/16/2010|13:00:00|     8| 62.82|  1.56|  5.96| 13.23| 49.59|  3.79|
03/16/2010|13:05:00|     8| 68.51|  1.97|  6.57| 18.44| 50.07|  3.89|
03/16/2010|13:10:00|     8| 73.80|  2.10|  8.46| 23.12| 50.68|  4.00|
03/16/2010|13:15:00|     8| 73.21|  1.11|  8.13| 39.32| 33.89|  2.66|
03/16/2010|13:20:00|     8| 47.72|  0.53|  0.28| 44.11|  3.61|  0.11|
03/16/2010|13:25:00|     8| 44.61|  0.50|  0.23| 41.08|  3.53|  0.10|
03/16/2010|13:30:00|     8| 45.75|  0.44|  0.26| 42.16|  3.59|  0.10|
03/16/2010|13:35:00|     8| 44.20|  0.42|  0.17| 40.91|  3.29|  0.09|
03/16/2010|13:40:00|     8| 40.72|  0.40|  0.12| 37.61|  3.11|  0.08|
03/16/2010|13:45:00|     8| 34.00|  0.37|  0.10| 31.00|  3.01|  0.08|
03/16/2010|13:50:00|     8| 37.96|  0.34|  0.12| 34.84|  3.12|  0.09|
03/16/2010|13:55:00|     8| 40.00|  0.43|  0.10| 36.93|  3.07|  0.08|
03/16/2010|14:00:00|     8| 43.62|  0.52|  0.17| 40.46|  3.17|  0.09|
03/16/2010|14:05:00|     8| 32.55|  0.34|  0.07| 29.90|  2.65|  0.07|
03/16/2010|14:10:00|     8| 35.00|  0.35|  0.08| 32.38|  2.62|  0.07|
03/16/2010|14:15:00|     8| 24.12|  0.23|  0.05| 21.92|  2.20|  0.05|
03/16/2010|14:20:00|     8| 27.72|  0.24|  0.06| 25.49|  2.23|  0.06|
03/16/2010|14:25:00|     8| 24.26|  0.26|  0.05| 22.17|  2.09|  0.06|
03/16/2010|14:30:00|     8| 19.57|  0.20|  0.03| 17.73|  1.84|  0.04|
03/16/2010|14:35:00|     8| 16.96|  0.17|  0.02| 15.28|  1.69|  0.04|
03/16/2010|14:40:00|     8| 15.61|  0.17|  0.02| 14.03|  1.58|  0.04|
03/16/2010|14:45:00|     8| 15.12|  0.19|  0.02| 13.60|  1.52|  0.04|
03/16/2010|14:50:00|     8| 15.77|  0.16|  0.02| 14.23|  1.54|  0.04|
03/16/2010|14:55:00|     8| 25.17|  0.28|  0.06| 22.11|  3.06|  0.06|
03/16/2010|15:00:00|     8| 17.01|  0.24|  0.02| 15.51|  1.50|  0.04|
03/16/2010|15:05:00|     8| 18.34|  0.20|  0.03| 16.65|  1.69|  0.06|
03/16/2010|15:10:00|     8| 34.16|  0.40|  0.05| 32.34|  1.82|  0.08|
03/16/2010|15:15:00|     8| 32.27|  0.33|  0.05| 30.54|  1.73|  0.07|
03/16/2010|15:20:00|     8| 40.68|  0.46|  0.05| 37.54|  3.14|  0.08|
03/16/2010|15:25:00|     8| 36.30|  0.28|  0.04| 32.34|  3.96|  0.06|
03/16/2010|15:30:00|     8| 21.00|  0.19|  0.02| 18.41|  2.59|  0.04|
03/16/2010|15:35:00|     8| 17.41|  0.13|  0.01| 14.50|  2.91|  0.03|
03/16/2010|15:40:00|     8|  4.87|  0.04|  0.00|  4.04|  0.83|  0.02|
03/16/2010|15:45:00|     8|  9.53|  0.10|  0.01|  8.59|  0.94|  0.02|
03/16/2010|15:50:00|     8| 11.21|  0.09|  0.01| 10.28|  0.94|  0.03|
03/16/2010|15:55:00|     8| 10.32|  0.10|  0.00|  9.46|  0.86|  0.02|
03/16/2010|16:00:00|     8| 10.17|  0.09|  0.01|  9.26|  0.91|  0.02|
03/16/2010|16:05:00|     8|  6.47|  0.06|  0.00|  5.72|  0.75|  0.02|
03/16/2010|16:10:00|     8|  7.26|  0.07|  0.00|  6.51|  0.75|  0.02|
03/16/2010|16:15:00|     8|  8.00|  0.08|  0.00|  7.20|  0.80|  0.02|
03/16/2010|16:20:00|     8|  7.68|  0.06|  0.00|  6.91|  0.77|  0.02|
03/16/2010|16:25:00|     8| 11.29|  0.13|  0.01| 10.44|  0.86|  0.02|
03/16/2010|16:30:00|     8|  7.94|  0.07|  0.00|  7.14|  0.80|  0.02|
03/16/2010|16:35:01|     8|  5.91|  0.04|  0.00|  5.23|  0.68|  0.02|
03/16/2010|16:40:00|     8|  7.23|  0.07|  0.00|  6.50|  0.73|  0.01|
03/16/2010|16:45:00|     8|  5.94|  0.08|  0.00|  5.25|  0.69|  0.01|

3. Plot the metric data using your favorite spreadsheet or command line utilities.

Plot CPU Utilization Percentages:

cat > cpu_usage.plot << EOF
<gnuplot>
set size 1, 1
set yrange [0:100]
set xrange [1:300]
set xlabel "Samples"
plot '-' using 1:2 title 'CPU %' with lines, \\
     '-' using 1:3 title 'User CPU %' with lines, \\
     '-' using 1:4 title 'System CPU %' with lines, \\
     '-' using 1:5 title 'Context Switching CPU %' with lines
<plotdata>
EOF
 
tail -n $(expr $(wc -l cpu.rept.out | cut -d" " -f 1) - 3 ) cpu.rept.out | \
awk -F'|' 'BEGIN {LINE=1; printf "#Sample\tCPU\tUser\tSystem\n"; } { 
   printf "%-6d\t%4.2f\t%4.2f\t%4.2f\t%4.2f\n", LINE, $4, $7, $8, $9
   LINE++
   }' >> cpu_usage.plot
 
cat >> cpu_usage.plot << EOF
</plotdata>
</gnuplot>
EOF

GnuplotBasic Plot

Plot QUEUEs Values:

cat > queues.plot << EOF
<gnuplot>
set size 1, 0.5
set yrange [0:4]
set xrange [1:300]
set xlabel "Samples"
plot '-' using 1:2 title 'Run Queue' with lines, \\
     '-' using 1:3 title 'Pri Queue' with lines
<plotdata>
EOF
 
tail -n $(expr $(wc -l cpu.rept.out | cut -d" " -f 1) - 3 ) cpu.rept.out | \
awk -F'|' 'BEGIN {LINE=1; printf "#Sample\tRun\tPri\n"; } { 
   printf "%-6d\t%4.2f\t%4.2f\n", LINE, $5, $6
   LINE++
   }' >> queues.plot
 
cat >> queues.plot << EOF
</plotdata>
</gnuplot>
EOF

GnuplotBasic Plot

4. Review the results against the rules.

Behavior Description Glance Metric Measured Data
Consistent high global CPU utilization GBL_CPU_TOTAL_UTIL > 90% No, only during a resource utilization spike.
Significant Run Queue (Load Average) or processes consistently blocked on Priority GBL_RUN_QUEUE > 3 or GBL_PRI_QUEUE > 3 Yes, during the utilization spike
Most of the time spend in user code GBL_CPU_USER_MODE_UTIL > 50% Yes
Most of the time spend in user code GBL_CPU_SYS_MODE_UTIL > 50% No
Lots of CPU time spent Switching GBL_CPU_CSWITCH_UTIL > 30%) No

Memory Bottlenecks

  • Memory Bottleneck Recipe Ingredients:
    • High physical memory utilization (GBL_MEM_UTIL > 95%), and
    • Significant pageout rate (GBL_MEM_PAGEOUT_RATE > 10), or
    • Any "true" deactivations (GBL_MEM_SWAPOUT_RATE > 0), or
    • vhand process consistently active (vhand's PROC_CPU_TOTAL_UTIL > 10% or GBL_MEM_PG_SCAN_RATE > 1000)
    • Processes or threads blocked on virtual memory (GBL_MEM_QUEUE > 0 or PROC_STOP_REASON = VM)

1. Create a gbl_mem.rept report file to obtain key Memory metrics.

cat > gbl_mem.rept << EOF
REPORT "OVPA Export !DATE !TIME Logfile: !LOGFILE !COLLECTOR !SYSTEM_ID"
FORMAT ASCII
HEADINGS ON
SEPARATOR="|"
SUMMARY=60
MISSING=0
DATA TYPE GLOBAL
DATE
TIME
GBL_MEM_UTIL
GBL_MEM_PAGEOUT_RATE
GBL_MEM_SWAPOUT_RATE
GBL_MEM_PG_SCAN_RATE
GBL_MEM_QUEUE
EOF

2. Extract the metric data using the extract command with cpu.rept report file.

/opt/perf/bin/extract -g -xp -r gbl_mem.rept \
-f gbl_mem.out,purge \
-b "03/15/2010 16:50:00" -e "03/16/2010 16:50:00"
OVPA Export 03/17/10 20:17    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |Memory|Pg Out | Swap  |  VM Pg   |Memory|
   Date   |  Time  |  %   | Rate  |Out Rt | Scan Rt  |Queue |
03/15/2010|16:50:00| 98.62|    0.0|    0.1|      29.0|  0.00|
03/15/2010|16:55:00| 98.62|    0.0|    0.1|      18.4|  0.00|
03/15/2010|17:00:00| 98.61|    0.0|    0.1|      12.4|  0.00|
03/15/2010|17:05:00| 98.61|    0.0|    0.1|      19.0|  0.00|
03/15/2010|17:10:00| 98.62|    0.0|    0.1|      18.3|  0.00|
03/15/2010|17:15:00| 98.63|    0.0|    0.1|      15.9|  0.00|
03/15/2010|17:20:00| 98.63|    0.0|    0.1|      13.3|  0.00|
03/15/2010|17:25:00| 98.62|    0.0|    0.1|      22.0|  0.00|
03/15/2010|17:30:00| 98.62|    0.0|    0.1|      10.8|  0.00|
03/15/2010|17:35:01| 98.62|    0.0|    0.1|       8.9|  0.00|
03/15/2010|17:40:00| 98.62|    0.0|    0.1|      12.5|  0.00|
03/15/2010|17:45:00| 98.61|    0.0|    0.1|      12.2|  0.00|
03/15/2010|17:50:00| 98.61|    0.0|    0.1|      14.2|  0.00|
03/15/2010|17:55:00| 98.61|    0.0|    0.1|      17.8|  0.00|
03/15/2010|18:00:00| 98.61|    0.0|    0.1|      12.9|  0.00|
03/15/2010|18:05:00| 98.61|    0.0|    0.1|      20.9|  0.00|
03/15/2010|18:10:00| 98.61|    0.0|    0.1|      14.8|  0.00|
03/15/2010|18:15:00| 98.61|    0.0|    0.1|      13.3|  0.00|
03/15/2010|18:20:00| 98.62|    0.0|    0.1|      11.2|  0.00|
03/15/2010|18:25:00| 98.62|    0.0|    0.1|      13.1|  0.00|
03/15/2010|18:30:00| 98.62|    0.0|    0.1|       9.3|  0.00|
03/15/2010|18:35:00| 98.62|    0.0|    0.1|      12.0|  0.00|
03/15/2010|18:40:00| 98.62|    0.0|    0.1|      11.9|  0.00|
03/15/2010|18:45:00| 98.62|    0.0|    0.1|      11.9|  0.00|
03/15/2010|18:50:01| 98.62|    0.3|    0.1|      54.7|  0.00|
03/15/2010|18:55:00| 98.62|    0.0|    0.1|       9.7|  0.00|
03/15/2010|19:00:00| 98.61|    0.0|    0.1|      18.1|  0.00|
03/15/2010|19:05:00| 98.61|    0.0|    0.1|       9.0|  0.00|
03/15/2010|19:10:00| 98.62|    0.0|    0.1|       9.4|  0.00|
03/15/2010|19:15:00| 98.61|    0.0|    0.1|      19.1|  0.00|
03/15/2010|19:20:00| 98.61|    0.0|    0.1|      15.6|  0.00|
03/15/2010|19:25:00| 98.62|    0.0|    0.1|      13.3|  0.00|
03/15/2010|19:30:00| 98.61|    0.0|    0.1|       8.0|  0.00|
03/15/2010|19:35:00| 98.61|    0.0|    0.1|      11.9|  0.00|
03/15/2010|19:40:00| 98.61|    0.0|    0.1|      15.9|  0.00|
03/15/2010|19:45:00| 98.60|    0.0|    0.1|      23.4|  0.00|
03/15/2010|19:50:00| 98.60|    0.0|    0.1|      14.6|  0.00|
03/15/2010|19:55:00| 98.60|    0.0|    0.1|      16.0|  0.00|
03/15/2010|20:00:00| 98.60|    0.0|    0.1|      16.4|  0.00|
03/15/2010|20:05:00| 98.60|    0.3|    0.1|      25.1|  0.00|
03/15/2010|20:10:00| 98.62|    0.0|    0.1|      13.9|  0.00|
03/15/2010|20:15:00| 98.62|    0.0|    0.1|      28.0|  0.00|
03/15/2010|20:20:00| 98.61|    0.1|    0.1|      20.8|  0.00|
03/15/2010|20:25:00| 98.61|    0.0|    0.1|      11.0|  0.00|
03/15/2010|20:30:00| 98.61|    0.0|    0.1|      12.9|  0.00|
03/15/2010|20:35:00| 98.61|    0.0|    0.1|      15.3|  0.00|
03/15/2010|20:40:00| 98.61|    0.0|    0.1|      16.4|  0.00|
03/15/2010|20:45:00| 98.61|    0.0|    0.1|      12.2|  0.00|
03/15/2010|20:50:00| 98.59|    7.0|    0.1|      47.4|  0.00|
03/15/2010|20:55:00| 98.59|    0.0|    0.1|      33.5|  0.00|
03/15/2010|21:00:00| 98.61|    0.0|    0.1|      43.2|  0.00|
03/15/2010|21:05:00| 98.60|    7.3|    0.1|      51.7|  0.00|
03/15/2010|21:10:00| 98.60|    3.6|    0.1|      69.1|  0.00|
03/15/2010|21:15:00| 98.56|   20.2|    0.1|      86.7|  0.00|
03/15/2010|21:20:00| 98.56|    0.0|    0.1|      39.4|  0.00|
03/15/2010|21:25:00| 98.56|    0.0|    0.1|      22.0|  0.00|
03/15/2010|21:30:00| 98.55|    0.0|    0.1|      45.7|  0.00|
03/15/2010|21:35:00| 98.55|    0.0|    0.1|      30.2|  0.00|
03/15/2010|21:40:00| 98.55|    0.0|    0.1|      46.0|  0.00|
03/15/2010|21:45:00| 98.55|    0.0|    0.1|      36.2|  0.00|
03/15/2010|21:50:00| 98.55|    0.0|    0.1|      40.7|  0.00|
03/15/2010|21:55:00| 98.55|    0.0|    0.1|      21.6|  0.00|
03/15/2010|22:00:00| 98.55|    0.0|    0.1|      38.0|  0.00|
03/15/2010|22:05:00| 98.55|    0.0|    0.1|      30.0|  0.00|
03/15/2010|22:10:00| 98.55|    0.0|    0.1|      46.5|  0.00|
03/15/2010|22:15:00| 98.52|    0.0|    0.1|      42.7|  0.00|
03/15/2010|22:20:00| 98.53|    0.0|    0.1|      40.3|  0.00|
03/15/2010|22:25:00| 98.53|    0.0|    0.1|      37.9|  0.00|
03/15/2010|22:30:00| 98.37|    0.0|    0.1|      46.3|  0.00|
03/15/2010|22:35:00| 98.37|    0.0|    0.1|      38.0|  0.00|
03/15/2010|22:40:00| 98.37|    0.0|    0.1|      38.9|  0.00|
03/15/2010|22:45:00| 98.37|    0.0|    0.1|      13.1|  0.00|
03/15/2010|22:50:00| 98.37|    0.0|    0.1|      26.0|  0.00|
03/15/2010|22:55:00| 98.38|    0.0|    0.1|      14.2|  0.00|
03/15/2010|23:00:00| 98.38|    0.0|    0.1|      21.7|  0.00|
03/15/2010|23:05:00| 98.27|    0.0|    0.1|      16.9|  0.00|
03/15/2010|23:10:00| 98.30|    0.0|    0.1|      21.1|  0.00|
03/15/2010|23:15:00| 98.30|    0.0|    0.1|      16.1|  0.00|
03/15/2010|23:20:00| 98.30|    0.0|    0.1|      39.4|  0.00|
03/15/2010|23:25:00| 98.30|    0.0|    0.1|      14.8|  0.00|
03/15/2010|23:30:00| 98.30|    0.0|    0.1|      22.1|  0.00|
03/15/2010|23:35:00| 98.20|    0.0|    0.1|      18.8|  0.00|
03/15/2010|23:40:00| 98.20|    0.0|    0.1|      19.0|  0.00|
03/15/2010|23:45:00| 98.09|    0.0|    0.1|      22.8|  0.00|
03/15/2010|23:50:00| 98.11|    0.0|    0.1|      12.6|  0.00|
03/15/2010|23:55:00| 98.11|    0.0|    0.1|      10.2|  0.00|
03/16/2010|00:00:00| 98.12|    0.0|    0.1|       9.7|  0.00|
03/16/2010|00:05:00| 98.15|    0.0|    0.1|      12.9|  0.00|
03/16/2010|00:10:00| 98.06|    0.0|    0.1|      20.0|  0.00|
03/16/2010|00:15:00| 98.06|    0.0|    0.1|       9.9|  0.00|
03/16/2010|00:20:00| 98.07|    0.0|    0.1|      16.5|  0.00|
03/16/2010|00:25:00| 98.06|    0.0|    0.1|      12.3|  0.00|
03/16/2010|00:30:00| 98.06|    0.0|    0.1|       8.7|  0.00|
03/16/2010|00:35:00| 98.06|    0.0|    0.1|      12.9|  0.00|
03/16/2010|00:40:00| 98.07|    0.0|    0.1|       9.5|  0.00|
03/16/2010|00:45:00| 97.92|    0.0|    0.1|      19.6|  0.00|
03/16/2010|00:50:00| 96.43|    0.0|    0.1|      18.0|  0.00|
03/16/2010|00:55:00| 96.43|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:00:00| 96.47|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:05:00| 96.43|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:10:00| 96.45|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:15:00| 96.45|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:20:00| 96.45|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:25:00| 96.45|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:30:00| 96.47|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:35:00| 96.47|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:40:00| 96.47|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:45:00| 96.49|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:50:00| 96.50|    0.0|    0.0|       0.0|  0.00|
03/16/2010|01:55:00| 96.54|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:00:00| 96.53|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:05:00| 96.62|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:10:00| 96.63|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:15:00| 96.62|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:20:00| 96.63|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:25:00| 96.64|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:30:00| 96.65|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:35:00| 96.64|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:40:00| 96.68|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:45:00| 96.68|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:50:00| 96.73|    0.0|    0.0|       0.0|  0.00|
03/16/2010|02:55:00| 96.73|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:00:00| 96.73|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:05:00| 96.73|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:10:00| 96.73|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:15:00| 96.72|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:20:00| 96.75|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:25:00| 96.75|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:30:00| 96.75|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:35:00| 96.74|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:40:00| 96.74|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:45:00| 96.75|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:50:00| 96.74|    0.0|    0.0|       0.0|  0.00|
03/16/2010|03:55:00| 96.76|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:00:00| 96.55|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:05:00| 96.55|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:10:00| 96.57|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:15:00| 96.58|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:20:00| 96.62|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:25:00| 96.65|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:30:00| 96.65|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:35:00| 96.52|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:40:00| 96.54|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:45:00| 96.54|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:50:00| 96.56|    0.0|    0.0|       0.0|  0.00|
03/16/2010|04:55:00| 96.80|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:00:00| 96.67|    0.0|    0.0|       0.0|  0.01|
03/16/2010|05:05:00| 96.75|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:10:00| 96.84|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:15:00| 96.92|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:20:00| 96.98|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:25:00| 96.98|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:30:00| 97.00|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:35:00| 97.08|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:40:00| 97.09|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:45:00| 97.14|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:50:00| 97.17|    0.0|    0.0|       0.0|  0.00|
03/16/2010|05:55:00| 97.16|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:00:00| 97.22|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:05:00| 97.37|    0.0|    0.0|       0.0|  0.03|
03/16/2010|06:10:00| 97.37|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:15:00| 97.35|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:20:00| 97.43|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:25:00| 97.43|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:30:00| 97.43|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:35:00| 97.32|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:40:00| 97.36|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:45:00| 97.39|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:50:00| 97.43|    0.0|    0.0|       0.0|  0.00|
03/16/2010|06:55:00| 97.42|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:00:00| 97.53|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:05:00| 97.57|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:10:00| 97.66|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:15:00| 97.67|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:20:00| 97.68|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:25:00| 97.71|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:30:00| 97.79|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:35:00| 97.89|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:40:00| 97.74|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:45:00| 97.79|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:50:00| 97.81|    0.0|    0.0|       0.0|  0.00|
03/16/2010|07:55:00| 97.82|    0.0|    0.0|       0.0|  0.00|
03/16/2010|08:00:00| 97.84|    0.0|    0.0|       0.0|  0.01|
03/16/2010|08:05:00| 97.87|    0.0|    0.0|       0.0|  0.00|
03/16/2010|08:10:00| 97.95|    0.0|    0.0|       0.0|  0.00|
03/16/2010|08:15:01| 98.02|    0.0|    0.0|       0.0|  0.00|
03/16/2010|08:20:00| 98.04|    0.0|    0.0|       0.0|  0.00|
03/16/2010|08:25:00| 98.04|    0.0|    0.0|       0.0|  0.00|
03/16/2010|08:30:00| 98.06|    0.0|    0.0|     281.0|  0.00|
03/16/2010|08:35:00| 98.12|    0.0|    0.1|      63.0|  0.00|
03/16/2010|08:40:00| 98.13|    0.0|    0.1|      23.4|  0.00|
03/16/2010|08:45:00| 98.13|    0.0|    0.1|      14.1|  0.00|
03/16/2010|08:50:00| 98.15|    0.0|    0.1|      22.3|  0.00|
03/16/2010|08:55:00| 98.15|    0.0|    0.1|      15.3|  0.00|
03/16/2010|09:00:00| 98.16|    0.0|    0.1|      24.1|  0.00|
03/16/2010|09:05:00| 98.15|    0.0|    0.1|      35.6|  0.00|
03/16/2010|09:10:00| 98.20|    0.0|    0.1|      14.5|  0.00|
03/16/2010|09:15:00| 98.21|    0.0|    0.1|      15.3|  0.00|
03/16/2010|09:20:00| 98.22|    0.0|    0.1|      36.5|  0.00|
03/16/2010|09:25:00| 98.22|    0.0|    0.1|      31.5|  0.00|
03/16/2010|09:30:00| 98.23|    0.0|    0.1|      20.6|  0.00|
03/16/2010|09:35:00| 98.23|    0.0|    0.1|      31.4|  0.00|
03/16/2010|09:40:00| 98.24|    0.0|    0.1|      37.3|  0.00|
03/16/2010|09:45:00| 98.23|    0.0|    0.1|      39.5|  0.00|
03/16/2010|09:50:00| 98.24|    0.0|    0.1|      37.3|  0.00|
03/16/2010|09:55:00| 98.25|    0.0|    0.1|      30.7|  0.00|
03/16/2010|10:00:00| 98.27|    0.0|    0.1|      43.7|  0.00|
03/16/2010|10:05:00| 98.28|    0.0|    0.1|      28.7|  0.00|
03/16/2010|10:10:00| 98.33|    0.0|    0.1|      38.6|  0.00|
03/16/2010|10:15:00| 98.32|    0.0|    0.1|      18.2|  0.00|
03/16/2010|10:20:00| 98.35|    0.0|    0.1|      27.9|  0.00|
03/16/2010|10:25:00| 98.35|    0.0|    0.1|      29.8|  0.00|
03/16/2010|10:30:00| 98.35|    0.0|    0.1|      22.5|  0.00|
03/16/2010|10:35:00| 98.35|    0.0|    0.1|      16.1|  0.00|
03/16/2010|10:40:00| 98.35|    0.0|    0.1|      28.0|  0.00|
03/16/2010|10:45:00| 98.36|    0.0|    0.1|      15.8|  0.00|
03/16/2010|10:50:00| 98.35|    0.0|    0.1|      35.1|  0.00|
03/16/2010|10:55:00| 98.36|    0.0|    0.1|      32.1|  0.00|
03/16/2010|11:00:00| 98.38|    0.0|    0.1|      25.6|  0.00|
03/16/2010|11:05:00| 98.36|    0.0|    0.1|      28.5|  0.00|
03/16/2010|11:10:00| 98.42|    0.0|    0.1|      30.4|  0.00|
03/16/2010|11:15:00| 98.42|    0.0|    0.1|      35.5|  0.00|
03/16/2010|11:20:00| 98.43|    0.0|    0.1|      34.7|  0.00|
03/16/2010|11:25:00| 98.42|    0.0|    0.1|      35.0|  0.00|
03/16/2010|11:30:00| 98.43|    0.0|    0.1|      43.6|  0.00|
03/16/2010|11:35:00| 98.43|    0.0|    0.1|      34.0|  0.00|
03/16/2010|11:40:00| 98.46|    0.0|    0.1|      49.6|  0.00|
03/16/2010|11:45:01| 98.50|    0.0|    0.1|      31.4|  0.00|
03/16/2010|11:50:00| 98.50|    0.0|    0.1|      38.0|  0.00|
03/16/2010|11:55:00| 98.54|    0.0|    0.1|      24.1|  0.00|
03/16/2010|12:00:00| 98.57|    0.0|    0.1|      44.5|  0.00|
03/16/2010|12:05:00| 98.58|    0.0|    0.1|      36.7|  0.00|
03/16/2010|12:10:00| 98.63|    0.0|    0.1|      42.5|  0.00|
03/16/2010|12:15:00| 98.65|    0.0|    0.1|      12.9|  0.00|
03/16/2010|12:20:00| 98.65|    0.0|    0.1|      40.1|  0.00|
03/16/2010|12:25:00| 98.64|    0.0|    0.1|      13.6|  0.00|
03/16/2010|12:30:00| 98.63|    0.0|    0.1|      41.4|  0.00|
03/16/2010|12:35:00| 98.64|    0.0|    0.1|      33.6|  0.00|
03/16/2010|12:40:00| 98.67|  120.6|    0.1|    2957.2|  0.00|
03/16/2010|12:45:00| 98.66|   48.9|    0.1|    1619.0|  0.00|
03/16/2010|12:50:00| 98.64|   53.0|    0.1|     473.8|  0.00|
03/16/2010|12:55:00| 98.64|   65.3|    0.1|     996.4|  0.00|
03/16/2010|13:00:00| 98.63|  395.5|    0.1|    5324.8|  0.00|
03/16/2010|13:05:00| 98.49|  124.1|    0.1|    1840.0|  0.01|
03/16/2010|13:10:00| 98.62|  177.8|    0.1|    3233.5|  0.01|
03/16/2010|13:15:00| 98.63|  183.2|    0.1|    2761.2|  0.00|
03/16/2010|13:20:00| 98.61|   17.5|    0.2|     241.1|  0.00|
03/16/2010|13:25:00| 98.61|   44.6|    0.2|    1413.7|  0.00|
03/16/2010|13:30:00| 98.59|   28.5|    0.2|     840.3|  0.00|
03/16/2010|13:35:00| 98.60|    9.7|    0.1|     666.2|  0.00|
03/16/2010|13:40:00| 98.58|   18.3|    0.1|     206.1|  0.00|
03/16/2010|13:45:00| 98.57|    6.6|    0.2|      31.8|  0.00|
03/16/2010|13:50:00| 98.58|    9.5|    0.2|     513.9|  0.00|
03/16/2010|13:55:00| 98.57|    9.6|    0.1|     203.4|  0.00|
03/16/2010|14:00:00| 98.56|   16.5|    0.2|     528.0|  0.00|
03/16/2010|14:05:00| 98.57|    5.5|    0.1|     348.6|  0.00|
03/16/2010|14:10:00| 98.61|   10.5|    0.2|     785.0|  0.00|
03/16/2010|14:15:00| 98.61|    6.9|    0.1|      47.5|  0.00|
03/16/2010|14:20:00| 98.61|    6.7|    0.2|     375.0|  0.00|
03/16/2010|14:25:00| 98.60|    5.6|    0.2|     278.7|  0.00|
03/16/2010|14:30:00| 98.60|    0.3|    0.1|      74.8|  0.00|
03/16/2010|14:35:00| 98.60|    4.9|    0.1|     489.2|  0.00|
03/16/2010|14:40:00| 98.59|    3.9|    0.1|      78.0|  0.00|
03/16/2010|14:45:00| 98.59|    1.7|    0.1|     266.1|  0.00|
03/16/2010|14:50:00| 98.55|   17.6|    0.2|     518.6|  0.00|
03/16/2010|14:55:00| 98.21|  121.3|    0.2|    2597.8|  0.00|
03/16/2010|15:00:00| 98.24|    0.0|    0.1|      40.7|  0.00|
03/16/2010|15:05:00| 98.38|    0.0|    0.1|      13.8|  0.00|
03/16/2010|15:10:00| 98.41|    0.0|    0.2|      18.8|  0.00|
03/16/2010|15:15:00| 98.47|    0.0|    0.1|      59.2|  0.00|
03/16/2010|15:20:00| 98.45|    0.0|    0.1|      24.3|  0.00|
03/16/2010|15:25:00| 98.45|    0.0|    0.1|      12.7|  0.00|
03/16/2010|15:30:00| 98.46|    0.0|    0.1|      23.9|  0.00|
03/16/2010|15:35:00| 98.46|    0.0|    0.1|      13.6|  0.00|
03/16/2010|15:40:00| 98.46|    0.0|    0.1|      28.3|  0.00|
03/16/2010|15:45:00| 98.42|    0.0|    0.1|      27.2|  0.00|
03/16/2010|15:50:00| 98.43|    0.0|    0.1|      33.5|  0.00|
03/16/2010|15:55:00| 98.43|    0.0|    0.1|      32.9|  0.00|
03/16/2010|16:00:00| 98.42|    0.0|    0.1|      41.9|  0.00|
03/16/2010|16:05:00| 98.42|    0.0|    0.1|      15.9|  0.00|
03/16/2010|16:10:00| 98.46|    0.0|    0.1|      14.1|  0.00|
03/16/2010|16:15:00| 98.45|    0.0|    0.1|      11.4|  0.00|
03/16/2010|16:20:00| 98.45|    0.0|    0.1|      23.9|  0.00|
03/16/2010|16:25:00| 98.45|    0.0|    0.1|      28.9|  0.00|
03/16/2010|16:30:00| 98.46|    0.0|    0.1|      76.1|  0.00|
03/16/2010|16:35:01| 98.46|    0.0|    0.1|      21.3|  0.00|
03/16/2010|16:40:00| 98.45|    0.0|    0.1|      19.3|  0.00|
03/16/2010|16:45:00| 98.45|    0.0|    0.1|      12.5|  0.00|

3. Plot the metric data using your favorite spreadsheet or command line utilities.

Plot Memory Rates:

cat > mem_rates.plot << EOF
<gnuplot>
set size 1, 1
set xrange [1:300]
set xlabel "Samples"
plot '-' using 1:2 title 'Pg Out Rate' with lines, \\
     '-' using 1:3 title 'Swap Out Rate' with lines, \\
     '-' using 1:4 title 'VM Pg Scan Rate' with lines
<plotdata>
EOF
 
tail -n $(expr $(wc -l gbl_mem.out | cut -d" " -f 1) - 3 ) gbl_mem.out | \
awk -F'|' 'BEGIN {LINE=1; printf "#Sample\tPgOut\tSwapOut\tVMPgScan\n"; } { 
   printf "%-6d\t%7.1f\t%7.1f\t%7.1f\n", LINE, $4, $5, $6
   LINE++
   }' >> mem_rates.plot
 
cat >> mem_rates.plot << EOF
</plotdata>
</gnuplot>
EOF

GnuplotBasic Plot

4. Review the results against the rules.

Behavior Description Glance Metric Measured Data
High physical memory utilization GBL_MEM_UTIL > 95% Yes, note that utilization is constant.
Significant pageout rate GBL_MEM_PAGEOUT_RATE > 10 Yes, during the spike
Any "true" deactivations GBL_MEM_SWAPOUT_RATE > 0 No
vhand process consistently active vhand's PROC_CPU_TOTAL_UTIL > 10% or GBL_MEM_PG_SCAN_RATE > 1000 Yes, during the spike. Additional information later
Processes or threads blocked on virtual memory GBL_MEM_QUEUE > 0 or PROC_STOP_REASON = VM No, Additional information later

Disk Bottlenecks

  • Disk Bottleneck Recipe Ingredients:
    • Consistent high utilization on at leat one disk device (GBL_DISK_UTIL_PEAK > 50% or highest BYDSK_UTIL > 50%).
    • Significant queuing lenghts (GBL_DISK_SUBSYSTEM_QUEUE > 3 or any BYDSK_REQUEST_QUEUE > 1).
    • High service times on BUSY disks (BYDSK_SERVICE_TIME > 30 ms and BYDSK_UTIL > 30%).
    • Processes or threads blocked on I/O wait reasons (PROC_STOP_REASON = CACHE, DISK, IO.

Global Metrics

1. Create a gbl_disk.rept report file to obtain key Disk utilization metrics.

cat > gbl_disk.rept << EOF
REPORT "OVPA Export !DATE !TIME Logfile: !LOGFILE !COLLECTOR !SYSTEM_ID"
FORMAT ASCII
HEADINGS ON
SEPARATOR="|"
SUMMARY=60
MISSING=0
DATA TYPE GLOBAL
DATE
TIME
GBL_DISK_UTIL_PEAK
GBL_DISK_SUBSYSTEM_QUEUE
EOF

2. Extract the metric data using the extract command with cpu.rept report file.

/opt/perf/bin/extract -g -xp -r gbl_disk.rept \
-f gbl_disk.out,purge \
-b "03/15/2010 16:50:00" -e "03/16/2010 16:50:00"
OVPA Export 03/17/10 23:14    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        | Peak |DskSubsys|
   Date   |  Time  |Disk %|  Queue  |
03/15/2010|16:50:00|  0.12|     0.00|
03/15/2010|16:55:00|  0.11|     0.00|
03/15/2010|17:00:00|  0.11|     0.00|
03/15/2010|17:05:00|  0.12|     0.00|
03/15/2010|17:10:00|  0.09|     0.00|
03/15/2010|17:15:00|  0.12|     0.00|
03/15/2010|17:20:00|  0.07|     0.00|
03/15/2010|17:25:00|  0.09|     0.00|
03/15/2010|17:30:00|  0.13|     0.00|
03/15/2010|17:35:01|  0.10|     0.00|
03/15/2010|17:40:00|  0.10|     0.00|
03/15/2010|17:45:00|  0.14|     0.00|
03/15/2010|17:50:00|  0.12|     0.00|
03/15/2010|17:55:00|  0.11|     0.00|
03/15/2010|18:00:00|  0.17|     0.00|
03/15/2010|18:05:00|  0.15|     0.00|
03/15/2010|18:10:00|  0.14|     0.00|
03/15/2010|18:15:00|  0.14|     0.00|
03/15/2010|18:20:00|  0.10|     0.00|
03/15/2010|18:25:00|  0.10|     0.00|
03/15/2010|18:30:00|  0.13|     0.00|
03/15/2010|18:35:00|  0.10|     0.00|
03/15/2010|18:40:00|  0.10|     0.00|
03/15/2010|18:45:00|  0.12|     0.00|
03/15/2010|18:50:01|  0.08|     0.00|
03/15/2010|18:55:00|  0.09|     0.00|
03/15/2010|19:00:00|  0.13|     0.00|
03/15/2010|19:05:00|  0.08|     0.00|
03/15/2010|19:10:00|  0.08|     0.00|
03/15/2010|19:15:00|  0.13|     0.00|
03/15/2010|19:20:00|  0.08|     0.00|
03/15/2010|19:25:00|  0.09|     0.00|
03/15/2010|19:30:00|  0.10|     0.00|
03/15/2010|19:35:00|  0.09|     0.00|
03/15/2010|19:40:00|  0.09|     0.00|
03/15/2010|19:45:00|  0.14|     0.00|
03/15/2010|19:50:00|  0.08|     0.00|
03/15/2010|19:55:00|  0.11|     0.00|
03/15/2010|20:00:00|  0.14|     0.00|
03/15/2010|20:05:00|  0.13|     0.00|
03/15/2010|20:10:00|  0.10|     0.00|
03/15/2010|20:15:00|  0.13|     0.00|
03/15/2010|20:20:00|  0.16|     0.00|
03/15/2010|20:25:00|  0.12|     0.00|
03/15/2010|20:30:00|  0.14|     0.00|
03/15/2010|20:35:00|  0.12|     0.00|
03/15/2010|20:40:00|  0.12|     0.00|
03/15/2010|20:45:00|  0.14|     0.00|
03/15/2010|20:50:00|  0.25|     0.00|
03/15/2010|20:55:00|  0.18|     0.00|
03/15/2010|21:00:00|  0.28|     0.00|
03/15/2010|21:05:00|  0.21|     0.00|
03/15/2010|21:10:00|  0.76|     0.00|
03/15/2010|21:15:00|  0.25|     0.00|
03/15/2010|21:20:00|  0.18|     0.00|
03/15/2010|21:25:00|  0.24|     0.00|
03/15/2010|21:30:00|  0.30|     0.00|
03/15/2010|21:35:00|  0.18|     0.00|
03/15/2010|21:40:00|  0.24|     0.00|
03/15/2010|21:45:00|  0.24|     0.00|
03/15/2010|21:50:00|  0.25|     0.00|
03/15/2010|21:55:00|  0.19|     0.00|
03/15/2010|22:00:00|  0.30|     0.00|
03/15/2010|22:05:00|  0.24|     0.00|
03/15/2010|22:10:00|  0.24|     0.00|
03/15/2010|22:15:00|  0.38|     0.00|
03/15/2010|22:20:00|  0.30|     0.00|
03/15/2010|22:25:00|  0.22|     0.00|
03/15/2010|22:30:00|  0.61|     0.00|
03/15/2010|22:35:00|  0.18|     0.00|
03/15/2010|22:40:00|  0.24|     0.00|
03/15/2010|22:45:00|  0.14|     0.00|
03/15/2010|22:50:00|  0.12|     0.00|
03/15/2010|22:55:00|  0.09|     0.00|
03/15/2010|23:00:00|  0.15|     0.00|
03/15/2010|23:05:00|  0.28|     0.00|
03/15/2010|23:10:00|  0.19|     0.00|
03/15/2010|23:15:00|  0.11|     0.00|
03/15/2010|23:20:00|  0.10|     0.00|
03/15/2010|23:25:00|  0.09|     0.00|
03/15/2010|23:30:00|  0.14|     0.00|
03/15/2010|23:35:00|  0.21|     0.00|
03/15/2010|23:40:00|  0.14|     0.00|
03/15/2010|23:45:00|  0.22|     0.00|
03/15/2010|23:50:00|  0.12|     0.00|
03/15/2010|23:55:00|  0.09|     0.00|
03/16/2010|00:00:00|  0.14|     0.00|
03/16/2010|00:05:00|  0.10|     0.00|
03/16/2010|00:10:00|  0.24|     0.00|
03/16/2010|00:15:00|  0.12|     0.00|
03/16/2010|00:20:00|  0.23|     0.00|
03/16/2010|00:25:00|  0.10|     0.00|
03/16/2010|00:30:00|  0.15|     0.00|
03/16/2010|00:35:00|  0.13|     0.00|
03/16/2010|00:40:00|  0.15|     0.00|
03/16/2010|00:45:00|  0.28|     0.00|
03/16/2010|00:50:00|  1.14|     0.00|
03/16/2010|00:55:00|  0.10|     0.00|
03/16/2010|01:00:00|  0.50|     0.00|
03/16/2010|01:05:00|  1.31|     0.00|
03/16/2010|01:10:00|  0.26|     0.00|
03/16/2010|01:15:00|  0.16|     0.00|
03/16/2010|01:20:00|  0.13|     0.00|
03/16/2010|01:25:00|  0.40|     0.00|
03/16/2010|01:30:00|  0.16|     0.00|
03/16/2010|01:35:00|  0.10|     0.00|
03/16/2010|01:40:00|  0.14|     0.00|
03/16/2010|01:45:00|  0.98|     0.00|
03/16/2010|01:50:00|  0.16|     0.00|
03/16/2010|01:55:00|  4.94|     0.00|
03/16/2010|02:00:00|  1.37|     0.00|
03/16/2010|02:05:00|  4.36|     0.00|
03/16/2010|02:10:00|  0.25|     0.00|
03/16/2010|02:15:00|  0.12|     0.00|
03/16/2010|02:20:00|  0.13|     0.00|
03/16/2010|02:25:00|  0.08|     0.00|
03/16/2010|02:30:00|  0.17|     0.00|
03/16/2010|02:35:00|  0.08|     0.00|
03/16/2010|02:40:00|  0.14|     0.00|
03/16/2010|02:45:00|  0.15|     0.00|
03/16/2010|02:50:00|  0.76|     0.00|
03/16/2010|02:55:00|  0.10|     0.00|
03/16/2010|03:00:00|  0.16|     0.00|
03/16/2010|03:05:00|  0.16|     0.00|
03/16/2010|03:10:00|  0.16|     0.00|
03/16/2010|03:15:00|  0.17|     0.00|
03/16/2010|03:20:00|  0.15|     0.00|
03/16/2010|03:25:00|  0.13|     0.00|
03/16/2010|03:30:00|  0.16|     0.00|
03/16/2010|03:35:00|  0.09|     0.00|
03/16/2010|03:40:00|  0.12|     0.00|
03/16/2010|03:45:00|  0.11|     0.00|
03/16/2010|03:50:00|  0.09|     0.00|
03/16/2010|03:55:00|  0.09|     0.00|
03/16/2010|04:00:00|  0.39|     0.00|
03/16/2010|04:05:00|  0.14|     0.00|
03/16/2010|04:10:00|  0.35|     0.00|
03/16/2010|04:15:00|  0.25|     0.00|
03/16/2010|04:20:00|  0.19|     0.00|
03/16/2010|04:25:00|  0.20|     0.00|
03/16/2010|04:30:00|  0.27|     0.00|
03/16/2010|04:35:00|  0.44|     0.00|
03/16/2010|04:40:00|  0.21|     0.00|
03/16/2010|04:45:00|  0.20|     0.00|
03/16/2010|04:50:00|  0.49|     0.00|
03/16/2010|04:55:00| 19.90|     0.00|
03/16/2010|05:00:00|  7.08|     0.00|
03/16/2010|05:05:00|  0.69|     0.00|
03/16/2010|05:10:00|  0.44|     0.00|
03/16/2010|05:15:00|  5.30|     0.00|
03/16/2010|05:20:00|  1.96|     0.00|
03/16/2010|05:25:00|  0.26|     0.00|
03/16/2010|05:30:00|  0.27|     0.00|
03/16/2010|05:35:00|  0.26|     0.00|
03/16/2010|05:40:00|  0.30|     0.00|
03/16/2010|05:45:00|  0.23|     0.00|
03/16/2010|05:50:00|  0.41|     0.00|
03/16/2010|05:55:00|  0.29|     0.00|
03/16/2010|06:00:00|  0.33|     0.00|
03/16/2010|06:05:00| 22.98|     0.00|
03/16/2010|06:10:00|  1.13|     0.00|
03/16/2010|06:15:00| 10.36|     0.00|
03/16/2010|06:20:00|  0.33|     0.00|
03/16/2010|06:25:00|  0.33|     0.00|
03/16/2010|06:30:00|  0.40|     0.00|
03/16/2010|06:35:00|  0.49|     0.00|
03/16/2010|06:40:00|  0.30|     0.00|
03/16/2010|06:45:00|  0.45|     0.00|
03/16/2010|06:50:00|  0.44|     0.00|
03/16/2010|06:55:00|  0.34|     0.00|
03/16/2010|07:00:00|  0.49|     0.00|
03/16/2010|07:05:00|  0.28|     0.00|
03/16/2010|07:10:00|  0.39|     0.00|
03/16/2010|07:15:00|  0.31|     0.00|
03/16/2010|07:20:00|  0.28|     0.00|
03/16/2010|07:25:00|  0.30|     0.00|
03/16/2010|07:30:00|  0.40|     0.00|
03/16/2010|07:35:00|  0.45|     0.00|
03/16/2010|07:40:00|  0.53|     0.00|
03/16/2010|07:45:00|  0.35|     0.00|
03/16/2010|07:50:00|  0.32|     0.00|
03/16/2010|07:55:00|  0.34|     0.00|
03/16/2010|08:00:00|  0.53|     0.00|
03/16/2010|08:05:00|  0.37|     0.00|
03/16/2010|08:10:00|  0.25|     0.00|
03/16/2010|08:15:01|  0.31|     0.00|
03/16/2010|08:20:00|  0.31|     0.00|
03/16/2010|08:25:00|  0.29|     0.00|
03/16/2010|08:30:00|  0.33|     0.00|
03/16/2010|08:35:00|  0.31|     0.00|
03/16/2010|08:40:00|  0.33|     0.00|
03/16/2010|08:45:00|  0.29|     0.00|
03/16/2010|08:50:00|  0.40|     0.00|
03/16/2010|08:55:00|  0.28|     0.00|
03/16/2010|09:00:00|  0.32|     0.00|
03/16/2010|09:05:00|  0.25|     0.00|
03/16/2010|09:10:00|  0.26|     0.00|
03/16/2010|09:15:00|  0.52|     0.00|
03/16/2010|09:20:00|  0.30|     0.00|
03/16/2010|09:25:00|  0.32|     0.00|
03/16/2010|09:30:00|  0.37|     0.00|
03/16/2010|09:35:00|  0.27|     0.00|
03/16/2010|09:40:00|  0.36|     0.00|
03/16/2010|09:45:00|  0.31|     0.00|
03/16/2010|09:50:00|  0.34|     0.00|
03/16/2010|09:55:00|  0.38|     0.00|
03/16/2010|10:00:00|  0.33|     0.00|
03/16/2010|10:05:00|  0.27|     0.00|
03/16/2010|10:10:00|  0.28|     0.00|
03/16/2010|10:15:00|  0.29|     0.00|
03/16/2010|10:20:00|  0.31|     0.00|
03/16/2010|10:25:00|  0.29|     0.00|
03/16/2010|10:30:00|  0.28|     0.00|
03/16/2010|10:35:00|  0.39|     0.00|
03/16/2010|10:40:00|  0.37|     0.00|
03/16/2010|10:45:00|  0.38|     0.00|
03/16/2010|10:50:00|  0.35|     0.00|
03/16/2010|10:55:00|  0.31|     0.00|
03/16/2010|11:00:00|  0.30|     0.00|
03/16/2010|11:05:00|  0.28|     0.00|
03/16/2010|11:10:00|  0.29|     0.00|
03/16/2010|11:15:00|  0.27|     0.00|
03/16/2010|11:20:00|  0.30|     0.00|
03/16/2010|11:25:00|  0.36|     0.00|
03/16/2010|11:30:00|  0.36|     0.00|
03/16/2010|11:35:00|  0.44|     0.00|
03/16/2010|11:40:00|  0.38|     0.00|
03/16/2010|11:45:01|  0.36|     0.00|
03/16/2010|11:50:00|  0.33|     0.00|
03/16/2010|11:55:00|  0.35|     0.00|
03/16/2010|12:00:00|  0.35|     0.00|
03/16/2010|12:05:00|  0.29|     0.00|
03/16/2010|12:10:00|  0.28|     0.00|
03/16/2010|12:15:00|  0.29|     0.00|
03/16/2010|12:20:00|  0.37|     0.00|
03/16/2010|12:25:00|  0.40|     0.00|
03/16/2010|12:30:00|  0.42|     0.00|
03/16/2010|12:35:00|  0.34|     0.00|
03/16/2010|12:40:00|  0.95|     0.00|
03/16/2010|12:45:00|  0.85|     0.00|
03/16/2010|12:50:00|  0.96|     0.00|
03/16/2010|12:55:00|  0.72|     0.00|
03/16/2010|13:00:00|  2.13|     0.00|
03/16/2010|13:05:00|  2.08|     0.00|
03/16/2010|13:10:00|  2.33|     0.00|
03/16/2010|13:15:00|  2.13|     0.00|
03/16/2010|13:20:00|  0.64|     0.00|
03/16/2010|13:25:00|  1.10|     0.00|
03/16/2010|13:30:00|  0.86|     0.00|
03/16/2010|13:35:00|  0.25|     0.00|
03/16/2010|13:40:00|  0.25|     0.00|
03/16/2010|13:45:00|  0.25|     0.00|
03/16/2010|13:50:00|  0.40|     0.00|
03/16/2010|13:55:00|  0.24|     0.00|
03/16/2010|14:00:00|  0.80|     0.00|
03/16/2010|14:05:00|  0.22|     0.00|
03/16/2010|14:10:00|  0.30|     0.00|
03/16/2010|14:15:00|  0.22|     0.00|
03/16/2010|14:20:00|  0.23|     0.00|
03/16/2010|14:25:00|  0.20|     0.00|
03/16/2010|14:30:00|  0.26|     0.00|
03/16/2010|14:35:00|  0.17|     0.00|
03/16/2010|14:40:00|  0.16|     0.00|
03/16/2010|14:45:00|  0.15|     0.00|
03/16/2010|14:50:00|  0.46|     0.00|
03/16/2010|14:55:00| 13.09|     0.00|
03/16/2010|15:00:00|  0.59|     0.00|
03/16/2010|15:05:00|  0.15|     0.00|
03/16/2010|15:10:00|  0.19|     0.00|
03/16/2010|15:15:00|  1.76|     0.00|
03/16/2010|15:20:00|  0.14|     0.00|
03/16/2010|15:25:00|  0.12|     0.00|
03/16/2010|15:30:00|  0.17|     0.00|
03/16/2010|15:35:00|  0.14|     0.00|
03/16/2010|15:40:00|  0.20|     0.00|
03/16/2010|15:45:00|  0.20|     0.00|
03/16/2010|15:50:00|  0.16|     0.00|
03/16/2010|15:55:00|  0.20|     0.00|
03/16/2010|16:00:00|  0.23|     0.00|
03/16/2010|16:05:00|  0.13|     0.00|
03/16/2010|16:10:00|  0.15|     0.00|
03/16/2010|16:15:00|  0.17|     0.00|
03/16/2010|16:20:00|  0.11|     0.00|
03/16/2010|16:25:00|  0.17|     0.00|
03/16/2010|16:30:00|  0.34|     0.00|
03/16/2010|16:35:01|  0.16|     0.00|
03/16/2010|16:40:00|  0.13|     0.00|
03/16/2010|16:45:00|  0.12|     0.00|

3. Plot the metric data using your favorite spreadsheet or command line utilities.

Plot Disk Global Utilization:

cat > disk.plot << EOF
<gnuplot>
set size 1, 1
set xrange [1:300]
set xlabel "Samples"
plot '-' using 1:2 title 'Peak Disk %' with lines
<plotdata>
EOF
 
tail -n $(expr $(wc -l gbl_disk.out | cut -d" " -f 1) - 3 ) gbl_disk.out | \
awk -F'|' 'BEGIN {LINE=1; printf "#Sample\tPeak Disk\n"; } { 
   printf "%-6d\t%4.2f\n", LINE, $3
   LINE++
   }' >> disk.plot
 
cat >> disk.plot << EOF
</plotdata>
</gnuplot>
EOF

GnuplotBasic Plot

4. Review the results against the rules.

By Disk Metrics

1. Create a bydisk.rept report file to obtain key By Disk utilization metrics.

cat > bydisk.rept << EOF
REPORT "OVPA Export !DATE !TIME Logfile: !LOGFILE !COLLECTOR !SYSTEM_ID"
FORMAT ASCII
HEADINGS ON
SEPARATOR="|"
SUMMARY=60
MISSING=0
DATA TYPE DISK
DATE
TIME
BYDSK_DISKNAME
BYDSK_PHYS_READ_RATE
BYDSK_PHYS_READ
BYDSK_PHYS_WRITE_RATE
BYDSK_PHYS_WRITE
BYDSK_UTIL
BYDSK_REQUEST_QUEUE
BYDSK_SERVICE_TIME
EOF

2. Extract the metric data using the extract command with cpu.rept report file.

/opt/perf/bin/extract -d -xp -r bydisk.rept \
-f bydisk.out,purge \
-b "03/15/2010 16:50:00" -e "03/16/2010 16:50:00"
OVPA Export 03/17/10 23:30    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/15/2010|16:50:00|disk2_p2       |      0.1|         29|      2.2|        658|  0.12|   0.00|
03/15/2010|16:50:00|disk5          |      0.0|          0|      0.2|         59|  0.01|   0.00|
03/15/2010|16:50:00|disk7          |      0.0|          0|      0.2|         59|  0.01|   0.00|
03/15/2010|16:50:00|disk20         |      0.0|          0|      1.7|        508|  0.09|   0.00|
03/15/2010|16:50:00|disk15         |      0.0|          0|      0.0|          0|  0.02|   0.00|
03/15/2010|16:50:00|disk16         |      0.0|          0|      0.0|          0|  0.08|   0.00|
03/15/2010|16:50:00|disk17         |      0.0|          0|      0.0|          0|  0.03|   0.00|

By Disk reports are usually very large an can easily reach into the thousands of records, because large system deployments usually implies a large storage subsystem. To make the best out of By Disk analysis:

  1. Determine that there are clean signs of a Disk Bottleneck based on the outputs of the Global Disk metrics.
  2. Frame the analysis to smaller time frame(s). Use the Global Disk metrics to define the time frames.
  3. Determine the top offenders disk at the time frame(s). Top 20 is a good starting point.
  4. Concentrate on those offenders at that time.

On this data collection, the Global Metrics does not show that I/O bottleneck is a probably offender, because the Global Utilization Peak does not surpass 25%. Nonetheless, it allows to demostrate the process.

1. Frame the analysis to smaller time frame(s). A simple method is to order the Global Disk metrics by the top 20 Disk Peak % samples and order them again by date. This will give you a very simple report, that allows to identified the busiest hours.

head -n3 gbl_disk.out; tail -n $(expr $(wc -l gbl_disk.out | cut -d" " -f 1) - 3 ) gbl_disk.out | \
sort -nrk 2,2 | head -n 20 | sort -k 1,1
OVPA Export 03/17/10 23:14    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        | Peak |DskSubsys|
   Date   |  Time  |Disk %|  Queue  |
03/16/2010|00:50:00|  1.14|     0.00|
03/16/2010|01:05:00|  1.31|     0.00|
03/16/2010|01:45:00|  0.98|     0.00|
03/16/2010|01:55:00|  4.94|     0.00|
03/16/2010|02:00:00|  1.37|     0.00|
03/16/2010|02:05:00|  4.36|     0.00|
03/16/2010|04:55:00| 19.90|     0.00|
03/16/2010|05:00:00|  7.08|     0.00|
03/16/2010|05:15:00|  5.30|     0.00|
03/16/2010|05:20:00|  1.96|     0.00|
03/16/2010|06:05:00| 22.98|     0.00|
03/16/2010|06:10:00|  1.13|     0.00|
03/16/2010|06:15:00| 10.36|     0.00|
03/16/2010|13:00:00|  2.13|     0.00|
03/16/2010|13:05:00|  2.08|     0.00|
03/16/2010|13:10:00|  2.33|     0.00|
03/16/2010|13:15:00|  2.13|     0.00|
03/16/2010|13:25:00|  1.10|     0.00|
03/16/2010|14:55:00| 13.09|     0.00|
03/16/2010|15:15:00|  1.76|     0.00|

On this case, it can be said that between 03/16/2010 04:55 and 03/16/2010 06:15:00, with an isolated spike at 03/16/2010 14:55:00.

2. Determine the top offenders disk at the time frame(s). This needs to be done both for read and write usage.

/opt/perf/bin/extract -d -xp -r bydisk.rept \
-f bydisk.out,purge \
-b "03/16/2010 04:55" -e "03/16/2010 06:15:00"

By Phys Reads:

head -n3 bydisk.out; tail -n $(expr $(wc -l bydisk.out | cut -d" " -f 1) - 3 ) bydisk.out | \
sort -nrk 4,4 | head -n 20 | sort -k 1,1
OVPA Export 03/18/10 01:10    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|04:55:00|disk15         |      0.9|        270|      0.0|          0|  0.22|   0.00|
03/16/2010|04:55:00|disk16         |      0.8|        240|      0.0|          0|  0.22|   0.00|
03/16/2010|04:55:00|disk17         |      0.7|        210|      0.0|          0|  0.26|   0.00|
03/16/2010|04:55:00|disk20         |     27.0|       8110|      8.3|       2493| 19.90|   0.04|
03/16/2010|04:55:00|disk2_p2       |      1.2|        360|      2.3|        690|  0.46|   0.00|
03/16/2010|05:00:00|disk15         |      1.4|        419|      0.0|          0|  0.77|   0.00|
03/16/2010|05:00:00|disk16         |      1.1|        329|      0.0|          0|  0.75|   0.00|
03/16/2010|05:00:00|disk17         |      1.0|        299|      0.0|          0|  0.62|   0.00|
03/16/2010|05:00:00|disk20         |     10.9|       3265|      7.0|       2097|  7.08|   2.67|
03/16/2010|05:00:00|disk2_p2       |      1.4|        419|      3.3|        988|  1.13|   0.09|
03/16/2010|05:10:00|disk2_p2       |      0.4|        119|      2.6|        777|  0.44|   0.19|
03/16/2010|05:15:00|disk2_p2       |      0.4|        120|      2.7|        811|  0.30|   0.00|
03/16/2010|05:15:00|disk5          |     10.6|       3187|      0.9|        270|  5.30|   0.00|
03/16/2010|05:20:00|disk5          |      4.7|       1410|      1.6|        480|  1.96|   0.31|
03/16/2010|05:45:00|disk2_p2       |      0.3|         90|      2.6|        780|  0.22|   0.00|
03/16/2010|06:00:00|disk2_p2       |      0.3|         90|      3.2|        960|  0.25|   0.13|
03/16/2010|06:05:00|disk2_p2       |      9.9|       2968|      2.8|        839|  5.22|   0.08|
03/16/2010|06:05:00|disk5          |     49.1|      14720|      7.6|       2278| 22.98|   0.03|
03/16/2010|06:10:00|disk20         |      2.3|        689|      8.2|       2457|  1.13|   0.06|
03/16/2010|06:10:00|disk2_p2       |      0.9|        269|      2.9|        869|  0.72|   0.05|

By Phys Writes:

head -n3 bydisk.out; tail -n $(expr $(wc -l bydisk.out | cut -d" " -f 1) - 3 ) bydisk.out | \
sort -nrk 6,6 | head -n 20 | sort -k 1,1
OVPA Export 03/18/10 01:10    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|04:55:00|disk20         |     27.0|       8110|      8.3|       2493| 19.90|   0.04|
03/16/2010|05:00:00|disk20         |     10.9|       3265|      7.0|       2097|  7.08|   2.67|
03/16/2010|05:00:00|disk2_p2       |      1.4|        419|      3.3|        988|  1.13|   0.09|
03/16/2010|05:05:00|disk20         |      0.3|         90|      3.5|       1051|  0.69|   0.01|
03/16/2010|05:10:00|disk20         |      0.0|          0|      5.1|       1525|  0.22|   0.01|
03/16/2010|05:15:00|disk20         |      0.1|         30|      4.5|       1353|  0.29|   0.00|
03/16/2010|05:20:00|disk20         |      0.1|         30|      5.0|       1500|  0.23|   0.12|
03/16/2010|05:25:00|disk20         |      0.1|         29|      4.1|       1228|  0.21|   0.00|
03/16/2010|05:30:00|disk20         |      0.1|         30|      5.2|       1562|  0.27|   0.01|
03/16/2010|05:30:00|disk2_p2       |      0.2|         60|      3.0|        901|  0.25|   0.23|
03/16/2010|05:35:00|disk20         |      0.1|         30|      4.6|       1382|  0.26|   0.00|
03/16/2010|05:40:00|disk20         |      0.1|         29|      6.2|       1853|  0.28|   0.07|
03/16/2010|05:45:00|disk20         |      0.1|         30|      5.2|       1561|  0.23|   0.00|
03/16/2010|05:50:00|disk20         |      0.1|         30|      6.4|       1923|  0.41|   0.17|
03/16/2010|05:55:00|disk20         |      0.1|         30|      6.8|       2040|  0.29|   0.00|
03/16/2010|06:00:00|disk20         |      0.0|          0|      7.6|       2280|  0.33|   0.08|
03/16/2010|06:00:00|disk2_p2       |      0.3|         90|      3.2|        960|  0.25|   0.13|
03/16/2010|06:05:00|disk20         |      0.2|         59|      7.3|       2188|  0.53|   0.00|
03/16/2010|06:05:00|disk5          |     49.1|      14720|      7.6|       2278| 22.98|   0.03|
03/16/2010|06:10:00|disk20         |      2.3|        689|      8.2|       2457|  1.13|   0.06|

In both Phys Reads and Writes, the potential disk candidates are disks disk20, disk5 and disk2_p2 (boot disk).

Concentrate on each disk at a time:

for disk in disk2_p2 disk5 disk20
do
 head -n3 bydisk.out; tail -n $(expr $(wc -l bydisk.out | cut -d" " -f 1) - 3 ) bydisk.out | grep ${disk}
 echo
done
OVPA Export 03/18/10 01:10    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|04:55:00|disk2_p2       |      1.2|        360|      2.3|        690|  0.46|   0.00|
03/16/2010|05:00:00|disk2_p2       |      1.4|        419|      3.3|        988|  1.13|   0.09|
03/16/2010|05:05:00|disk2_p2       |      0.2|         60|      2.4|        720|  0.25|   0.00|
03/16/2010|05:10:00|disk2_p2       |      0.4|        119|      2.6|        777|  0.44|   0.19|
03/16/2010|05:15:00|disk2_p2       |      0.4|        120|      2.7|        811|  0.30|   0.00|
03/16/2010|05:20:00|disk2_p2       |      0.2|         60|      2.8|        840|  0.26|   0.32|
03/16/2010|05:25:00|disk2_p2       |      0.2|         59|      2.3|        689|  0.26|   0.00|
03/16/2010|05:30:00|disk2_p2       |      0.2|         60|      3.0|        901|  0.25|   0.23|
03/16/2010|05:35:00|disk2_p2       |      0.2|         60|      2.5|        751|  0.20|   0.00|
03/16/2010|05:40:00|disk2_p2       |      0.2|         59|      2.7|        807|  0.30|   0.18|
03/16/2010|05:45:00|disk2_p2       |      0.3|         90|      2.6|        780|  0.22|   0.00|
03/16/2010|05:50:00|disk2_p2       |      0.2|         60|      2.9|        871|  0.24|   0.26|
03/16/2010|05:55:00|disk2_p2       |      0.2|         60|      2.3|        690|  0.25|   0.00|
03/16/2010|06:00:00|disk2_p2       |      0.3|         90|      3.2|        960|  0.25|   0.13|
03/16/2010|06:05:00|disk2_p2       |      9.9|       2968|      2.8|        839|  5.22|   0.08|
03/16/2010|06:10:00|disk2_p2       |      0.9|        269|      2.9|        869|  0.72|   0.05|
 
OVPA Export 03/18/10 01:10    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|04:55:00|disk5          |      0.0|          0|      0.2|         60|  0.00|   0.00|
03/16/2010|05:00:00|disk5          |      0.0|          0|      0.2|         59|  0.02|   0.00|
03/16/2010|05:05:00|disk5          |      0.0|          0|      0.2|         60|  0.01|   0.00|
03/16/2010|05:10:00|disk5          |      0.0|          0|      0.2|         59|  0.01|   0.00|
03/16/2010|05:15:00|disk5          |     10.6|       3187|      0.9|        270|  5.30|   0.00|
03/16/2010|05:20:00|disk5          |      4.7|       1410|      1.6|        480|  1.96|   0.31|
03/16/2010|05:25:00|disk5          |      0.0|          0|      0.2|         59|  0.01|   0.00|
03/16/2010|05:30:00|disk5          |      0.0|          0|      0.2|         60|  0.01|   0.00|
03/16/2010|05:35:00|disk5          |      0.0|          0|      0.2|         60|  0.01|   0.00|
03/16/2010|05:40:00|disk5          |      0.0|          0|      0.2|         59|  0.01|   0.00|
03/16/2010|05:50:00|disk5          |      0.0|          0|      0.2|         60|  0.01|   0.00|
03/16/2010|05:55:00|disk5          |      0.0|          0|      0.2|         60|  0.01|   0.00|
03/16/2010|06:00:00|disk5          |      0.0|          0|      0.2|         60|  0.02|   0.00|
03/16/2010|06:05:00|disk5          |     49.1|      14720|      7.6|       2278| 22.98|   0.03|
03/16/2010|06:10:00|disk5          |      0.0|          0|      0.2|         59|  0.02|   0.00|
 
OVPA Export 03/18/10 01:10    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|04:55:00|disk20         |     27.0|       8110|      8.3|       2493| 19.90|   0.04|
03/16/2010|05:00:00|disk20         |     10.9|       3265|      7.0|       2097|  7.08|   2.67|
03/16/2010|05:05:00|disk20         |      0.3|         90|      3.5|       1051|  0.69|   0.01|
03/16/2010|05:10:00|disk20         |      0.0|          0|      5.1|       1525|  0.22|   0.01|
03/16/2010|05:15:00|disk20         |      0.1|         30|      4.5|       1353|  0.29|   0.00|
03/16/2010|05:20:00|disk20         |      0.1|         30|      5.0|       1500|  0.23|   0.12|
03/16/2010|05:25:00|disk20         |      0.1|         29|      4.1|       1228|  0.21|   0.00|
03/16/2010|05:30:00|disk20         |      0.1|         30|      5.2|       1562|  0.27|   0.01|
03/16/2010|05:35:00|disk20         |      0.1|         30|      4.6|       1382|  0.26|   0.00|
03/16/2010|05:40:00|disk20         |      0.1|         29|      6.2|       1853|  0.28|   0.07|
03/16/2010|05:45:00|disk20         |      0.1|         30|      5.2|       1561|  0.23|   0.00|
03/16/2010|05:50:00|disk20         |      0.1|         30|      6.4|       1923|  0.41|   0.17|
03/16/2010|05:55:00|disk20         |      0.1|         30|      6.8|       2040|  0.29|   0.00|
03/16/2010|06:00:00|disk20         |      0.0|          0|      7.6|       2280|  0.33|   0.08|
03/16/2010|06:05:00|disk20         |      0.2|         59|      7.3|       2188|  0.53|   0.00|
03/16/2010|06:10:00|disk20         |      2.3|        689|      8.2|       2457|  1.13|   0.06|

Repeat the process for the time of the single spike. Note that the time of the spike (03/16/2010 14:55:00) coincides with the end of the Resource Contention that have been notice before. It will be a good idea to extend the review a little bit before and after the spike (1 hour lapse), to better understand the behavior of the I/O subsystem at that time.

/opt/perf/bin/extract -d -xp -r bydisk.rept \
-f bydisk.out,purge \
-b "03/16/2010 14:30" -e "03/16/2010 15:30"

By Phys Reads:

head -n3 bydisk.out; tail -n $(expr $(wc -l bydisk.out | cut -d" " -f 1) - 3 ) bydisk.out | \
sort -nrk 4,4 | head -n 20 | sort -k 1,1
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk2_p2       |      0.3|         90|      3.0|        901|  0.26|   0.15|
03/16/2010|14:35:00|disk20         |      0.2|         60|      4.2|       1260|  0.14|   0.00|
03/16/2010|14:35:00|disk2_p2       |      0.2|         60|      2.7|        810|  0.17|   0.00|
03/16/2010|14:40:00|disk2_p2       |      0.2|         60|      2.9|        870|  0.16|   0.17|
03/16/2010|14:45:00|disk20         |      0.2|         60|      4.2|       1260|  0.15|   0.00|
03/16/2010|14:45:00|disk2_p2       |      0.2|         60|      2.6|        780|  0.15|   0.00|
03/16/2010|14:50:00|disk2_p2       |      0.9|        270|      4.5|       1350|  0.46|   0.14|
03/16/2010|14:55:00|disk16         |      0.2|         59|      5.6|       1674|  0.27|  57.47|
03/16/2010|14:55:00|disk2_p2       |     55.0|      16450|     40.7|      12173| 13.09|   4.22|
03/16/2010|14:55:00|disk5          |      0.4|        119|      0.2|         59|  0.27|   0.00|
03/16/2010|15:00:00|disk15         |      0.3|         90|      0.0|          0|  0.16|   0.00|
03/16/2010|15:00:00|disk16         |      0.3|         90|      0.0|          0|  0.18|   0.00|
03/16/2010|15:00:00|disk17         |      0.3|         90|      0.0|          0|  0.22|   0.00|
03/16/2010|15:00:00|disk2_p2       |      1.2|        360|      3.7|       1111|  0.59|   0.47|
03/16/2010|15:05:00|disk2_p2       |      0.2|         60|      2.5|        750|  0.14|   0.00|
03/16/2010|15:10:00|disk2_p2       |      0.2|         59|      2.8|        839|  0.19|   0.15|
03/16/2010|15:15:00|disk16         |      0.2|         60|      0.0|          0|  0.07|   0.00|
03/16/2010|15:15:00|disk17         |      0.2|         60|      0.0|          0|  0.08|   0.00|
03/16/2010|15:15:00|disk2_p2       |      6.4|       1923|      3.1|        931|  1.76|   0.00|
03/16/2010|15:25:00|disk2_p2       |      0.2|         60|      2.5|        750|  0.12|   0.00|

By Phys Writes:

head -n3 bydisk.out; tail -n $(expr $(wc -l bydisk.out | cut -d" " -f 1) - 3 ) bydisk.out | \
sort -nrk 6,6 | head -n 20 | sort -k 1,1
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk20         |      0.1|         30|      5.2|       1562|  0.16|   0.00|
03/16/2010|14:30:00|disk2_p2       |      0.3|         90|      3.0|        901|  0.26|   0.15|
03/16/2010|14:35:00|disk20         |      0.2|         60|      4.2|       1260|  0.14|   0.00|
03/16/2010|14:40:00|disk20         |      0.0|          0|      4.9|       1470|  0.16|   0.17|
03/16/2010|14:45:00|disk20         |      0.2|         60|      4.2|       1260|  0.15|   0.00|
03/16/2010|14:50:00|disk20         |      0.1|         30|      5.6|       1680|  0.19|   0.01|
03/16/2010|14:50:00|disk2_p2       |      0.9|        270|      4.5|       1350|  0.46|   0.14|
03/16/2010|14:55:00|disk15         |      0.1|         29|      5.6|       1674|  0.32|  63.96|
03/16/2010|14:55:00|disk16         |      0.2|         59|      5.6|       1674|  0.27|  57.47|
03/16/2010|14:55:00|disk17         |      0.1|         29|      5.6|       1674|  0.30|  65.30|
03/16/2010|14:55:00|disk20         |      0.1|         29|      3.8|       1136|  2.84|   0.01|
03/16/2010|14:55:00|disk2_p2       |     55.0|      16450|     40.7|      12173| 13.09|   4.22|
03/16/2010|15:00:00|disk20         |      0.0|          0|      5.3|       1592|  0.22|   0.02|
03/16/2010|15:00:00|disk2_p2       |      1.2|        360|      3.7|       1111|  0.59|   0.47|
03/16/2010|15:05:00|disk20         |      0.0|          0|      3.6|       1081|  0.15|   0.00|
03/16/2010|15:10:00|disk20         |      0.0|          0|      4.4|       1318|  0.19|   0.17|
03/16/2010|15:15:00|disk20         |      0.0|          0|      4.1|       1232|  0.19|   1.67|
03/16/2010|15:15:00|disk2_p2       |      6.4|       1923|      3.1|        931|  1.76|   0.00|
03/16/2010|15:20:00|disk20         |      0.0|          0|      4.2|       1259|  0.14|   0.09|
03/16/2010|15:20:00|disk2_p2       |      0.1|         29|      3.1|        929|  0.13|   0.23|

In both Phys Reads and Writes, disk disk2_p2. Other disk disk15, disk16, disk17 and disk20 seems to be minor players too.

Concentrate on each disk at a time:

for disk in disk2_p2 disk15 disk16 disk17 disk20
do
 head -n3 bydisk.out; tail -n $(expr $(wc -l bydisk.out | cut -d" " -f 1) - 3 ) bydisk.out | grep ${disk}
 echo
done
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk2_p2       |      0.3|         90|      3.0|        901|  0.26|   0.15|
03/16/2010|14:35:00|disk2_p2       |      0.2|         60|      2.7|        810|  0.17|   0.00|
03/16/2010|14:40:00|disk2_p2       |      0.2|         60|      2.9|        870|  0.16|   0.17|
03/16/2010|14:45:00|disk2_p2       |      0.2|         60|      2.6|        780|  0.15|   0.00|
03/16/2010|14:50:00|disk2_p2       |      0.9|        270|      4.5|       1350|  0.46|   0.14|
03/16/2010|14:55:00|disk2_p2       |     55.0|      16450|     40.7|      12173| 13.09|   4.22|
03/16/2010|15:00:00|disk2_p2       |      1.2|        360|      3.7|       1111|  0.59|   0.47|
03/16/2010|15:05:00|disk2_p2       |      0.2|         60|      2.5|        750|  0.14|   0.00|
03/16/2010|15:10:00|disk2_p2       |      0.2|         59|      2.8|        839|  0.19|   0.15|
03/16/2010|15:15:00|disk2_p2       |      6.4|       1923|      3.1|        931|  1.76|   0.00|
03/16/2010|15:20:00|disk2_p2       |      0.1|         29|      3.1|        929|  0.13|   0.23|
03/16/2010|15:25:00|disk2_p2       |      0.2|         60|      2.5|        750|  0.12|   0.00|
 
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk15         |      0.1|         30|      0.0|          0|  0.04|   0.00|
03/16/2010|14:35:00|disk15         |      0.0|          0|      0.1|         30|  0.06|   0.00|
03/16/2010|14:40:00|disk15         |      0.0|          0|      0.1|         30|  0.04|   0.00|
03/16/2010|14:45:00|disk15         |      0.1|         30|      0.0|          0|  0.01|   0.00|
03/16/2010|14:50:00|disk15         |      0.0|          0|      0.3|         90|  0.05|   0.00|
03/16/2010|14:55:00|disk15         |      0.1|         29|      5.6|       1674|  0.32|  63.96|
03/16/2010|15:00:00|disk15         |      0.3|         90|      0.0|          0|  0.16|   0.00|
03/16/2010|15:05:00|disk15         |      0.0|          0|      0.0|          0|  0.01|   0.00|
03/16/2010|15:10:00|disk15         |      0.1|         29|      0.0|          0|  0.02|   0.00|
03/16/2010|15:15:00|disk15         |      0.1|         30|      0.0|          0|  0.05|   0.00|
03/16/2010|15:25:00|disk15         |      0.0|          0|      0.0|          0|  0.01|   0.00|
 
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk16         |      0.1|         30|      0.0|          0|  0.05|   0.00|
03/16/2010|14:35:00|disk16         |      0.0|          0|      0.1|         30|  0.03|   0.00|
03/16/2010|14:40:00|disk16         |      0.1|         30|      0.1|         30|  0.02|   0.00|
03/16/2010|14:50:00|disk16         |      0.1|         30|      0.3|         90|  0.07|   0.00|
03/16/2010|14:55:00|disk16         |      0.2|         59|      5.6|       1674|  0.27|  57.47|
03/16/2010|15:00:00|disk16         |      0.3|         90|      0.0|          0|  0.18|   0.00|
03/16/2010|15:05:00|disk16         |      0.0|          0|      0.0|          0|  0.01|   0.00|
03/16/2010|15:10:00|disk16         |      0.1|         29|      0.0|          0|  0.03|   0.00|
03/16/2010|15:15:00|disk16         |      0.2|         60|      0.0|          0|  0.07|   0.00|
03/16/2010|15:20:00|disk16         |      0.0|          0|      0.0|          0|  0.02|   0.00|
03/16/2010|15:25:00|disk16         |      0.1|         30|      0.0|          0|  0.02|   0.00|
 
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk17         |      0.1|         30|      0.0|          0|  0.07|   0.00|
03/16/2010|14:35:00|disk17         |      0.1|         30|      0.1|         30|  0.04|   0.00|
03/16/2010|14:40:00|disk17         |      0.1|         30|      0.1|         30|  0.04|   0.00|
03/16/2010|14:45:00|disk17         |      0.1|         30|      0.0|          0|  0.01|   0.00|
03/16/2010|14:50:00|disk17         |      0.1|         30|      0.3|         90|  0.06|   0.00|
03/16/2010|14:55:00|disk17         |      0.1|         29|      5.6|       1674|  0.30|  65.30|
03/16/2010|15:00:00|disk17         |      0.3|         90|      0.0|          0|  0.22|   0.00|
03/16/2010|15:05:00|disk17         |      0.1|         30|      0.0|          0|  0.01|   0.00|
03/16/2010|15:10:00|disk17         |      0.1|         29|      0.0|          0|  0.03|   0.00|
03/16/2010|15:15:00|disk17         |      0.2|         60|      0.0|          0|  0.08|   0.00|
03/16/2010|15:20:00|disk17         |      0.1|         29|      0.0|          0|  0.02|   0.00|
03/16/2010|15:25:00|disk17         |      0.1|         30|      0.0|          0|  0.02|   0.00|
 
OVPA Export 03/18/10 01:29    Logfile: /var/opt/perf/datafiles/logglob SCOPE/UX C.04.70.000(0) esscrmh3
          |        |     Disk      |Phys Read|   Phys    |  Phys   |   Phys    |      |  Req  |
   Date   |  Time  |     Name      |  Rate   |   Reads   |  Wr Rt  |  Writes   |Disk %| Queue |
03/16/2010|14:30:00|disk20         |      0.1|         30|      5.2|       1562|  0.16|   0.00|
03/16/2010|14:35:00|disk20         |      0.2|         60|      4.2|       1260|  0.14|   0.00|
03/16/2010|14:40:00|disk20         |      0.0|          0|      4.9|       1470|  0.16|   0.17|
03/16/2010|14:45:00|disk20         |      0.2|         60|      4.2|       1260|  0.15|   0.00|
03/16/2010|14:50:00|disk20         |      0.1|         30|      5.6|       1680|  0.19|   0.01|
03/16/2010|14:55:00|disk20         |      0.1|         29|      3.8|       1136|  2.84|   0.01|
03/16/2010|15:00:00|disk20         |      0.0|          0|      5.3|       1592|  0.22|   0.02|
03/16/2010|15:05:00|disk20         |      0.0|          0|      3.6|       1081|  0.15|   0.00|
03/16/2010|15:10:00|disk20         |      0.0|          0|      4.4|       1318|  0.19|   0.17|
03/16/2010|15:15:00|disk20         |      0.0|          0|      4.1|       1232|  0.19|   1.67|
03/16/2010|15:20:00|disk20         |      0.0|          0|      4.2|       1259|  0.14|   0.09|
03/16/2010|15:25:00|disk20         |      0.0|          0|      3.0|        900|  0.12|   0.00|

Reference

Authors

This page was last modified on 16 July 2010, at 04:46. This page has been accessed 5,216 times.