Остерігайтеся sample
розщеплення, якщо шукаєте відтворювані результати. Якщо ваші дані змінюються незначно, розділення буде змінюватися, навіть якщо ви використовуєте set.seed
. Наприклад, уявіть, що відсортований список ідентифікаційних даних у ваших даних - це всі цифри від 1 до 10. Якщо ви просто упустили одне спостереження, скажімо, 4, вибірка за місцем розташування дала б різні результати, оскільки зараз 5 - 10 всіх переміщених місць.
Альтернативний метод полягає у використанні хеш-функції для відображення ідентифікаторів у деяких псевдо випадкових числах, а потім вибірки на моді цих чисел. Цей зразок є більш стійким, оскільки тепер призначення визначається хешем кожного спостереження, а не його відносним положенням.
Наприклад:
require(openssl) # for md5
require(data.table) # for the demo data
set.seed(1) # this won't help `sample`
population <- as.character(1e5:(1e6-1)) # some made up ID names
N <- 1e4 # sample size
sample1 <- data.table(id = sort(sample(population, N))) # randomly sample N ids
sample2 <- sample1[-sample(N, 1)] # randomly drop one observation from sample1
# samples are all but identical
sample1
sample2
nrow(merge(sample1, sample2))
[1] 9999
# row splitting yields very different test sets, even though we've set the seed
test <- sample(N-1, N/2, replace = F)
test1 <- sample1[test, .(id)]
test2 <- sample2[test, .(id)]
nrow(test1)
[1] 5000
nrow(merge(test1, test2))
[1] 2653
# to fix that, we can use some hash function to sample on the last digit
md5_bit_mod <- function(x, m = 2L) {
# Inputs:
# x: a character vector of ids
# m: the modulo divisor (modify for split proportions other than 50:50)
# Output: remainders from dividing the first digit of the md5 hash of x by m
as.integer(as.hexmode(substr(openssl::md5(x), 1, 1)) %% m)
}
# hash splitting preserves the similarity, because the assignment of test/train
# is determined by the hash of each obs., and not by its relative location in the data
# which may change
test1a <- sample1[md5_bit_mod(id) == 0L, .(id)]
test2a <- sample2[md5_bit_mod(id) == 0L, .(id)]
nrow(merge(test1a, test2a))
[1] 5057
nrow(test1a)
[1] 5057
розмір вибірки не точно 5000, тому що присвоєння є ймовірним, але це не повинно бути проблемою у великих вибірках завдяки закону великої кількості.
Дивіться також: http://blog.richardweiss.org/2016/12/25/hash-splits.html
та /crypto/20742/statistic-properties-of-hash-functions-when -розрахунково-модульний
x
може бути індексом (рядок / стовпчик. скажіть) вашогоdata
.size
може бути0.75*nrow(data)
. Спробуйтеsample(1:10, 4, replace = FALSE, prob = NULL)
побачити, що це робить.