Big Data Benchmark Repository and Performance Analysis

Data Summary: This tool provides a summary of the selected executions through the filter box at the right panel.


Summary per Benchmark sort
Exe.Time
Min.74
1stQu.839
Median1298
Mean2003
3rdQu.2448
Max.89306
Benchmark
sort948
terasort0
wordcount0
Net
ETH779
IB169
Disk
HDD826
SSD122
Maps
Min.2.000
1stQu.6.000
Median8.000
Mean9.445
3rdQu.12.000
Max.24.000
IO.SFac
Min.5.00
1stQu.10.00
Median10.00
Mean11.48
3rdQu.10.00
Max.50.00
Rep
Min.1.00
1stQu.1.00
Median1.00
Mean1.48
3rdQu.2.00
Max.3.00
IO.FBuf
Min.4096
1stQu.65536
Median65536
Mean63972
3rdQu.65536
Max.131072
Comp
Cmp0439
Cmp1195
Cmp2165
Cmp3149
Cmp655360
Blk.size
Min.32
1stQu.64
Median64
Mean101
3rdQu.128
Max.256
Cluster
Cl1254
Cl5184
Cl3169
Cl4110
Cl1570
Cl2166
Cl1465
Cl4113
Cl346
(Other)11
Cl.Name
m1000-01254
al-05184
al-03169
al-04110
al-1570
minerva100-10-18-2166
al-1465
al-4113
al-346
(Other)11
Datanodes
Min.3.000
1stQu.3.000
Median8.000
Mean5.812
3rdQu.8.000
Max.16.000
VM.OS
linux948
VM.Cores
Min.2.000
1stQu.8.000
Median8.000
Mean8.947
3rdQu.12.000
Max.12.000
VM.RAM
Min.3.50
1stQu.56.00
Median56.00
Mean69.51
3rdQu.128.00
Max.128.00
Provider
azure626
minerva10066
on-premise256
rackspace0
VM.Size
A7463
SYS-6027R-72RF254
A670
minerva-10066
extralarge65
Large18
A36
A82
minerva-102
(Other)2
Type
IaaS626
On-Premise68
On-premise254
Bench.Type
HiBench948
Hadoop.Version
Min.1.000
1stQu.1.000
Median1.000
Mean1.003
3rdQu.1.000
Max.1.030
Datasize
Min.0.000e+00
1stQu.5.414e+03
Median1.448e+04
Mean4.756e+09
3rdQu.1.448e+04
Max.7.391e+10
Scale.Factor
24GB/Dn948
32GB/Dn0
N/A0

Summary per Benchmark terasort
Exe.Time
Min.106
1stQu.891
Median1190
Mean1974
3rdQu.2181
Max.169112
Benchmark
sort0
terasort3753
wordcount0
Net
ETH3423
IB330
Disk
HDD3417
SSD336
Maps
Min.2.00
1stQu.6.00
Median8.00
Mean7.74
3rdQu.10.00
Max.32.00
IO.SFac
Min.5.00
1stQu.10.00
Median10.00
Mean11.36
3rdQu.10.00
Max.50.00
Rep
Min.1.000
1stQu.1.000
Median2.000
Mean1.738
3rdQu.2.000
Max.3.000
IO.FBuf
Min.4096
1stQu.32768
Median65536
Mean60618
3rdQu.65536
Max.131072
Comp
Cmp01720
Cmp1699
Cmp2675
Cmp3659
Cmp655360
Blk.size
Min.32.0
1stQu.64.0
Median64.0
Mean101.7
3rdQu.128.0
Max.256.0
Cluster
Cl5751
Cl15748
Cl3566
Cl1520
Cl14500
Cl21348
Cl28140
Cl4109
Cl4117
(Other)54
Cl.Name
al-05751
al-15748
al-03566
m1000-01520
al-14500
minerva100-10-18-21348
al-28140
al-04109
al-4117
(Other)54
Datanodes
Min.3.000
1stQu.3.000
Median8.000
Mean6.501
3rdQu.8.000
Max.48.000
VM.OS
linux3753
VM.Cores
Min.2.000
1stQu.8.000
Median8.000
Mean7.859
3rdQu.8.000
Max.12.000
VM.RAM
Min.3.5
1stQu.28.0
Median56.0
Mean52.9
3rdQu.56.0
Max.128.0
Provider
azure2861
minerva100352
on-premise522
rackspace18
VM.Size
A71428
A6748
SYS-6027R-72RF520
extralarge500
minerva-100352
medium140
Large19
performance2-3015
Medium14
(Other)17
Type
IaaS2879
On-Premise354
On-premise520
Bench.Type
HiBench3753
Hadoop.Version
Min.1.000
1stQu.1.000
Median1.000
Mean1.001
3rdQu.1.000
Max.1.030
Datasize
Min.0.000e+00
1stQu.1.000e+11
Median1.000e+11
Mean1.168e+11
3rdQu.1.000e+11
Max.1.000e+12
Scale.Factor
24GB/Dn0
32GB/Dn0
N/A3753

Summary per Benchmark wordcount
Exe.Time
Min.76
1stQu.1005
Median1408
Mean1778
3rdQu.1760
Max.86930
Benchmark
sort0
terasort0
wordcount944
Net
ETH811
IB133
Disk
HDD856
SSD88
Maps
Min.0.000
1stQu.6.000
Median8.000
Mean8.786
3rdQu.12.000
Max.24.000
IO.SFac
Min.5.00
1stQu.10.00
Median10.00
Mean11.49
3rdQu.10.00
Max.50.00
Rep
Min.1.000
1stQu.1.000
Median1.000
Mean1.446
3rdQu.1.000
Max.10.000
IO.FBuf
Min.1
1stQu.65536
Median65536
Mean63397
3rdQu.65536
Max.131072
Comp
Cmp0453
Cmp1174
Cmp2158
Cmp3156
Cmp655363
Blk.size
Min.0.0
1stQu.64.0
Median64.0
Mean101.2
3rdQu.128.0
Max.256.0
Cluster
Cl5194
Cl1181
Cl3171
Cl4115
Cl2176
Cl1474
Cl1565
Cl1018
Cl4112
(Other)38
Cl.Name
al-05194
m1000-01181
al-03171
al-04115
minerva100-10-18-2176
al-1474
al-1565
minerva-1018
al-4112
(Other)38
Datanodes
Min.3.000
1stQu.3.000
Median8.000
Mean6.248
3rdQu.8.000
Max.16.000
VM.OS
linux944
VM.Cores
Min.2.00
1stQu.8.00
Median8.00
Mean8.71
3rdQu.12.00
Max.12.00
VM.RAM
Min.3.50
1stQu.56.00
Median56.00
Mean62.48
3rdQu.64.00
Max.128.00
Provider
azure651
minerva10080
on-premise202
rackspace11
VM.Size
A7480
SYS-6027R-72RF181
minerva-10080
extralarge74
A665
Large21
minerva-1021
performance1-811
A36
(Other)5
Type
IaaS662
On-Premise101
On-premise181
Bench.Type
HiBench944
Hadoop.Version
Min.1.000
1stQu.1.000
Median1.000
Mean1.003
3rdQu.1.000
Max.1.030
Datasize
Min.0.000e+00
1stQu.5.654e+03
Median1.512e+04
Mean1.217e+08
3rdQu.1.512e+04
Max.6.564e+10
Scale.Factor
24GB/Dn0
32GB/Dn944
N/A0

  • Instance: sort|terasort|wordcount,*,HDD|SSD,*,*,*,*,*,*,*,*,HiBench,*,*,*,*,*,*,*
  • Model Info: bench ("sort","terasort","wordcount") net ("*") disk ("HDD","SSD") maps ("*") iosf ("*") replication ("*") iofilebuf ("*") comp ("*") blk_size ("*") id_cluster ("*") datanodes ("*") bench_type ("HiBench") vm_size ("*") vm_cores ("*") vm_RAM ("*") type ("*") hadoop_version ("*") provider ("*") vm_OS ("*")
  • Advanced Filters: datefrom ("*") dateto ("*") minexetime ("50") maxexetime ("*") valid ("1") filter ("1")

Predefined configurations:

Filters

Benchmarks:    
 bayes
 dfsioe_read
 dfsioe_write
 kmeans
 pagerank
 prep_bayes
 prep_dfsioe
 prep_hivebench
 prep_kmeans
 prep_nutchindexing
 prep_pagerank
 prep_sort
 prep_terasort
 prep_wordcount
 prep_wordcount,terasort
 sort
 terasort
 wordcount
 wordcount,terasort
Bench suite:
Datasize:     
 0 B
 85 B
 247 B
 257 B
 790 B
 871 B
 2 KB
 2 KB
 2 KB
 2 KB
 3 KB
 4 KB
 5 KB
 5 KB
 5 KB
 5 KB
 6 KB
 6 KB
 6 KB
 6 KB
 6 KB
 6 KB
 7 KB
 7 KB
 8 KB
 9 KB
 9 KB
 10 KB
 10 KB
 11 KB
 12 KB
 12 KB
 13 KB
 14 KB
 15 KB
 15 KB
 16 KB
 16 KB
 16 KB
 16 KB
 18 KB
 19 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 24 KB
 24 KB
 24 KB
 24 KB
 25 KB
 25 KB
 26 KB
 27 KB
 30 KB
 30 KB
 31 KB
 32 KB
 46 KB
 62 KB
 63 KB
 63 KB
 64 KB
 64 KB
 64 KB
 65 KB
 72 KB
 72 KB
 88 KB
 92 KB
 103 KB
 136 KB
 308 KB
 310 KB
 321 KB
 327 KB
 331 KB
 401 KB
 711 KB
 1184 KB
 1226 KB
 1259 KB
 1267 KB
 1594 KB
 2830 KB
 5028 KB
 5094 KB
 5160 KB
 5193 KB
 5325 KB
 5357 KB
 12 MB
 12 MB
 21 MB
 149 MB
 149 MB
 268 MB
 275 MB
 275 MB
 275 MB
 275 MB
 275 MB
 275 MB
 25 GB
 25 GB
 33 GB
 33 GB
 33 GB
 50 GB
 50 GB
 50 GB
 66 GB
 66 GB
 66 GB
 69 GB
 69 GB
 69 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 88 GB
 88 GB
 99 GB
 100 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 198 GB
 263 GB
 263 GB
 269 GB
 269 GB
 1 TB
Scale factor:     
 24GB/Dn
 32GB/Dn
 N/A
Clusters (CL):    
 02/A7/3Dn
 03/A7/8Dn
 04/A7/8Dn
 05/A7/3Dn
 08/Large/8Dn
 14/extralarge/8Dn
 15/A6/8Dn
 26/A8/8Dn
 28/medium/8Dn
 29/Standard_D4/8Dn
 34/Large/8Dn
 36/A7/8Dn
 40/Medium/48Dn
 41/Large/16Dn
 24/large/16Dn
 50/extralarge/16Dn
 55/D3/16Dn
 64/A10/16Dn
 60/large/2Dn
 61/extralarge/2Dn
 62/D3/2Dn
 63/A10/2Dn
 47/large/24Dn
 56/D3/24Dn
 25/large/32Dn
 57/D3/32Dn
 20/large/4Dn
 48/extralarge/4Dn
 51/D3/4Dn
 58/A10/4Dn
 23/large/8Dn
 49/extralarge/8Dn
 54/D3/8Dn
 59/A10/8Dn
 45/A3/16Dn
 67/A3/2Dn
 66/A3/32Dn
 42/A3/4Dn
 43/A3/8Dn
 01/SYS-6027R-72RF/3Dn
 10/minerva-10/14Dn
 12/minerva-10/3Dn
 22/minerva-100/16Dn
 21/minerva-100/8Dn
 06/performance1-8/8Dn
 16/general1-8/8Dn
 19/io1-15/8Dn
 30/io1-30/8Dn
 33/performance2-30/8Dn
 53/io1-15/16Dn
Network:    
 Ethernet
 InfiniBand
Disk:    
 HD2
 HD3
 HD4
 HD5
 HD6
 HDD
 HS4
 HS5
 HS6
 RL1
 RL2
 RL3
 RL4
 RL5
 RL6
 RR1
 RR2
 RR3
 RR4
 RR5
 RR6
 RS1
 RS2
 RS3
 RS4
 RS5
 RS6
 SS2
 SSD
Cluster datanodes:    
 2
 3
 4
 8
 14
 16
 24
 32
 48
VM Size:    
 A10
 A3
 A6
 A7
 A8
 D3
 extralarge
 general1-8
 io1-15
 io1-30
 Large
 medium
 minerva-10
 minerva-100
 performance1-8
 performance2-30
 Standard_D4
 SYS-6027R-72RF
VM cores:    
 2
 4
 8
 12
VM RAM:    
 3.5 GB
 7 GB
 8 GB
 14 GB
 15 GB
 24 GB
 28 GB
 30 GB
 56 GB
 64 GB
 128 GB
Cluster type:    
 IaaS
 On-premise
 PaaS
Provider:    
 azure
 hdinsight
 minerva100
 on-premise
 rackspace
VM OS:    
 linux
 windows
Maps:    
 N/A
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 24
 32
Compression (c):    
 None
 ZLIB
 BZIP2
 Snappy
 Snappy
Replication (r):    
 0
 1
 2
 3
 10
Block size (b):    
 0 MB
 2 MB
 32 MB
 64 MB
 92 MB
 99 MB
 102 MB
 103 MB
 105 MB
 107 MB
 108 MB
 110 MB
 112 MB
 115 MB
 128 MB
 134 MB
 135 MB
 256 MB
I/O sort factor (I):    
 0
 5
 8
 10
 11
 12
 13
 14
 15
 16
 17
 18
 20
 22
 24
 50
 100
I/O file buffer:    
 0 KB
 1 KB
 2 KB
 3 KB
 4 MB
 32 MB
 64 MB
 128 MB
Hadoop version:    
 -1.0.3
 -1.1.2
 -1.2.0
 -1.2.1
 1
 1.03
 2
Only valid execs
Filter
Include prepares
Only execs with perf details
Date from:
Date to:
Min exec time:
Max exec time:
Separate by: