Ko narišete več znanstvenih podatkovnih točk, boste morda želeli s programsko opremo prilagoditi krivuljo, ki se najbolje prilega. Vendar se krivulja ne bo natančno ujemala z vašimi podatkovnimi točkami, kadar pa se ne, boste morda želeli izračunati korensko povprečno napako v kvadratu (RMSE), da bi ocenili, v kolikšni meri se vaše podatkovne točke razlikujejo od vaše krivulje. Formula RMSE za vsako podatkovno točko izračuna razliko med dejansko vrednostjo podatkovne točke in vrednostjo podatkovne točke na krivulji najboljšega prileganja.
Poiščite ustrezno y-vrednost na krivulji najboljšega prileganja za vsako vrednost x, ki ustreza izvirnim podatkovnim točkam.
Odštejte dejansko vrednost y od vrednosti y na vaši najboljši krivulji za vsako podatkovno točko, ki jo imate. Razlika med dejansko vrednostjo y in vrednostjo y na vaši najboljši krivulji se imenuje preostala vrednost. Vsak preostanek razdelite na kvadrat in nato seštejte preostale.
Vsoto vaših ostankov razdelite na skupno število podatkovnih točk, ki jih imate, in vzemite kvadratni koren količnika. To daje napaki korenine v kvadratku.