GBM kullanarak GBM paketi ve Caret

Model kullanarak ayar yapıyordum caret, ancak gbmpaketi kullanarak modeli yeniden çalıştırıyorum . Anladığım kadarıyla caretpaketin kullandığı gbmve çıktı aynı olmalı. Bununla birlikte, sadece hızlı bir test çalıştırması data(iris), değerlendirme metriği olarak RMSE ve R ^ 2 kullanılarak modelde yaklaşık% 5 tutarsızlık gösterir. Kısmi bağımlılık grafiklerini kullanmak için en iyi model performansını bulmak istiyorum caretama tekrar çalıştırıyorum gbm. Tekrar üretilebilirlik için aşağıdaki kod.

Sorularım şöyle olurdu:

1) Aynı olmalarına rağmen bu iki paket arasında neden bir fark görüyorum (stokastik olduklarını anlıyorum, ancak% 5, özellikle irismodelleme için böyle güzel bir veri seti kullanmadığımda biraz büyük bir fark ) .

2) Her iki paketi kullanmanın herhangi bir avantajı veya dezavantajı var mı - varsa hangileri?

3) İlgisiz: irisVeri kümesini kullanmak en uygun interaction.deptholanı 5'tir, ancak okuduğumdan daha yüksektir, maksimum floor(sqrt(ncol(iris)))olan 2 olmalıdır. Bu kesin bir kural mı yoksa oldukça esnek mi?

library(caret)
library(gbm)
library(hydroGOF)
library(Metrics)
data(iris)

# Using caret
caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50,
                   shrinkage=c(0.01, 0.001),
                   n.minobsinnode=10)
metric <- "RMSE"
trainControl <- trainControl(method="cv", number=10)

set.seed(99)
gbm.caret <- train(Sepal.Length ~ ., data=iris, distribution="gaussian", method="gbm",
              trControl=trainControl, verbose=FALSE, 
              tuneGrid=caretGrid, metric=metric, bag.fraction=0.75)                  

print(gbm.caret)
# caret determines the optimal model to be at n.tress=700, interaction.depth=5, shrinkage=0.01
# and n.minobsinnode=10
# RMSE = 0.3247354
# R^2 = 0.8604

# Using GBM
set.seed(99)
gbm.gbm <- gbm(Sepal.Length ~ ., data=iris, distribution="gaussian", n.trees=700, interaction.depth=5,
           n.minobsinnode=10, shrinkage=0.01, bag.fraction=0.75, cv.folds=10, verbose=FALSE)
best.iter <- gbm.perf(gbm.gbm, method="cv")
print(best.iter)
# Here the optimal n.trees = 540

train.predict <- predict.gbm(object=gbm.gbm, newdata=iris, 700)

print(rmse(iris$Sepal.Length, train.predict))
# RMSE = 0.2377

R2 <- cor(gbm.gbm$fit, iris$Sepal.Length)^2
print(R2)
# R^2 = 0.9178`

r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

— Danib90
kaynak

Parametreleri optimize etmek için varsayılan ızgarayla kullanın ve aynı sonuçlara sahip olmak için öngörmeyi kullanın:

R2.caret-R2.gbm = ,0009125435

rmse.caret-rmse.gbm = -,001680319

library(caret)
library(gbm)
library(hydroGOF)
library(Metrics)
data(iris)

# Using caret with the default grid to optimize tune parameters automatically
# GBM Tuning parameters:
# n.trees (# Boosting Iterations)
# interaction.depth (Max Tree Depth)
# shrinkage (Shrinkage)
# n.minobsinnode (Min. Terminal Node Size)

metric <- "RMSE"
trainControl <- trainControl(method="cv", number=10)

set.seed(99)
gbm.caret <- train(Sepal.Length ~ .
                   , data=iris
                   , distribution="gaussian"
                   , method="gbm"
                   , trControl=trainControl
                   , verbose=FALSE
                   #, tuneGrid=caretGrid
                   , metric=metric
                   , bag.fraction=0.75
                   )                  

print(gbm.caret)

caret.predict <- predict(gbm.caret, newdata=iris, type="raw")

rmse.caret<-rmse(iris$Sepal.Length, caret.predict)
print(rmse.caret)

R2.caret <- cor(gbm.caret$finalModel$fit, iris$Sepal.Length)^2
print(R2.caret)

#using gbm without caret with the same parameters
set.seed(99)
gbm.gbm <- gbm(Sepal.Length ~ .
               , data=iris
               , distribution="gaussian"
               , n.trees=150
               , interaction.depth=3
               , n.minobsinnode=10
               , shrinkage=0.1
               , bag.fraction=0.75
               , cv.folds=10
               , verbose=FALSE
               )
best.iter <- gbm.perf(gbm.gbm, method="cv")
print(best.iter)

train.predict <- predict.gbm(object=gbm.gbm, newdata=iris, 150)

rmse.gbm<-rmse(iris$Sepal.Length, train.predict)
print(rmse.gbm)

R2.gbm <- cor(gbm.gbm$fit, iris$Sepal.Length)^2
print(R2.gbm)

print(R2.caret-R2.gbm)
print(rmse.caret-rmse.gbm)

— 42n4
kaynak