Big Data Benchmark Repository and Performance Analysis

Modeling Data: This tool is in charge of creating models and predictors for Hadoop datasets. Using machine learning algorithms, this tool creates a model from the data-set of executions selected through the right panel. Then returns a model (kept in the system), and the result of testing the model against a sample of executions to check its accuracy. Our methodology uses the 50% of the selected executions as training (tr), a 25% for validating the model (tv), and a 25% to test the model (tt).

To use the tool, select the specific set of executions that you want to model at the right menu, the method to train it, and as option if you want the model to admit future not-seen-yet values. Then observe how the quality of the model in the chart below. [MAE: Mean Absolute Error, RAE: Relative Absolute Error]


Model information:

  • Model cache ID:
  • Instance:
  • Model Info:
  • Advanced Filters:

Predefined configurations:

Filters

Benchmarks:    
 bayes
 dfsioe_read
 dfsioe_write
 kmeans
 pagerank
 prep_bayes
 prep_dfsioe
 prep_hivebench
 prep_kmeans
 prep_nutchindexing
 prep_pagerank
 prep_sort
 prep_terasort
 prep_wordcount
 prep_wordcount,terasort
 sort
 terasort
 wordcount
 wordcount,terasort
Bench suite:
Datasize:     
 0 B
 85 B
 247 B
 257 B
 790 B
 871 B
 2 KB
 2 KB
 2 KB
 2 KB
 3 KB
 4 KB
 5 KB
 5 KB
 5 KB
 5 KB
 6 KB
 6 KB
 6 KB
 6 KB
 6 KB
 6 KB
 7 KB
 7 KB
 8 KB
 9 KB
 9 KB
 10 KB
 10 KB
 11 KB
 12 KB
 12 KB
 13 KB
 14 KB
 15 KB
 15 KB
 16 KB
 16 KB
 16 KB
 16 KB
 18 KB
 19 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 20 KB
 24 KB
 24 KB
 24 KB
 24 KB
 25 KB
 25 KB
 26 KB
 27 KB
 30 KB
 30 KB
 31 KB
 32 KB
 46 KB
 62 KB
 63 KB
 63 KB
 64 KB
 64 KB
 64 KB
 65 KB
 72 KB
 72 KB
 88 KB
 92 KB
 103 KB
 136 KB
 308 KB
 310 KB
 321 KB
 327 KB
 331 KB
 401 KB
 711 KB
 1184 KB
 1226 KB
 1259 KB
 1267 KB
 1594 KB
 2830 KB
 5028 KB
 5094 KB
 5160 KB
 5193 KB
 5325 KB
 5357 KB
 12 MB
 12 MB
 21 MB
 149 MB
 149 MB
 268 MB
 275 MB
 275 MB
 275 MB
 275 MB
 275 MB
 275 MB
 25 GB
 25 GB
 33 GB
 33 GB
 33 GB
 50 GB
 50 GB
 50 GB
 66 GB
 66 GB
 66 GB
 69 GB
 69 GB
 69 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 74 GB
 88 GB
 88 GB
 99 GB
 100 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 132 GB
 198 GB
 263 GB
 263 GB
 269 GB
 269 GB
 1 TB
Scale factor:     
 24GB/Dn
 32GB/Dn
 N/A
Clusters (CL):    
 02/A7/3Dn
 03/A7/8Dn
 04/A7/8Dn
 05/A7/3Dn
 08/Large/8Dn
 14/extralarge/8Dn
 15/A6/8Dn
 26/A8/8Dn
 28/medium/8Dn
 29/Standard_D4/8Dn
 34/Large/8Dn
 36/A7/8Dn
 40/Medium/48Dn
 41/Large/16Dn
 24/large/16Dn
 50/extralarge/16Dn
 55/D3/16Dn
 64/A10/16Dn
 60/large/2Dn
 61/extralarge/2Dn
 62/D3/2Dn
 63/A10/2Dn
 47/large/24Dn
 56/D3/24Dn
 25/large/32Dn
 57/D3/32Dn
 20/large/4Dn
 48/extralarge/4Dn
 51/D3/4Dn
 58/A10/4Dn
 23/large/8Dn
 49/extralarge/8Dn
 54/D3/8Dn
 59/A10/8Dn
 45/A3/16Dn
 67/A3/2Dn
 66/A3/32Dn
 42/A3/4Dn
 43/A3/8Dn
 01/SYS-6027R-72RF/3Dn
 10/minerva-10/14Dn
 12/minerva-10/3Dn
 22/minerva-100/16Dn
 21/minerva-100/8Dn
 06/performance1-8/8Dn
 16/general1-8/8Dn
 19/io1-15/8Dn
 30/io1-30/8Dn
 33/performance2-30/8Dn
 53/io1-15/16Dn
Network:    
 Ethernet
 InfiniBand
Disk:    
 HD2
 HD3
 HD4
 HD5
 HD6
 HDD
 HS4
 HS5
 HS6
 RL1
 RL2
 RL3
 RL4
 RL5
 RL6
 RR1
 RR2
 RR3
 RR4
 RR5
 RR6
 RS1
 RS2
 RS3
 RS4
 RS5
 RS6
 SS2
 SSD
Cluster datanodes:    
 2
 3
 4
 8
 14
 16
 24
 32
 48
VM Size:    
 A10
 A3
 A6
 A7
 A8
 D3
 extralarge
 general1-8
 io1-15
 io1-30
 Large
 medium
 minerva-10
 minerva-100
 performance1-8
 performance2-30
 Standard_D4
 SYS-6027R-72RF
VM cores:    
 2
 4
 8
 12
VM RAM:    
 3.5 GB
 7 GB
 8 GB
 14 GB
 15 GB
 24 GB
 28 GB
 30 GB
 56 GB
 64 GB
 128 GB
Cluster type:    
 IaaS
 On-premise
 PaaS
Provider:    
 azure
 hdinsight
 minerva100
 on-premise
 rackspace
VM OS:    
 linux
 windows
Maps:    
 N/A
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 24
 32
Compression (c):    
 None
 ZLIB
 BZIP2
 Snappy
 Snappy
Replication (r):    
 0
 1
 2
 3
 10
Block size (b):    
 0 MB
 2 MB
 32 MB
 64 MB
 92 MB
 99 MB
 102 MB
 103 MB
 105 MB
 107 MB
 108 MB
 110 MB
 112 MB
 115 MB
 128 MB
 134 MB
 135 MB
 256 MB
I/O sort factor (I):    
 0
 5
 8
 10
 11
 12
 13
 14
 15
 16
 17
 18
 20
 22
 24
 50
 100
I/O file buffer:    
 0 KB
 1 KB
 2 KB
 3 KB
 4 MB
 32 MB
 64 MB
 128 MB
Hadoop version:    
 -1.0.3
 -1.1.2
 -1.2.0
 -1.2.1
 1
 1.03
 2
Only valid execs
Filter
Include prepares
Only execs with perf details
Date from:
Date to:
Min exec time:
Max exec time:
Learning method:
Unrestricted to new values