Підрахуйте кількість усіх слів у рядку

Чи існує функція для підрахунку кількості слів у рядку? Наприклад:

str1 <- "How many words are in this sentence"

повернути результат 7.

Ви можете використовувати strsplitі sapplyфункції

sapply(strsplit(str1, " "), length)

Використовуйте символ регулярного виразу \\Wдля відповідності несловним символам, використовуючи +для позначення одного або декількох підряд, а також gregexprдля пошуку всіх збігів у рядку. Слова - це кількість роздільників слів плюс 1.

lengths(gregexpr("\\W+", str1)) + 1

Це буде терпіти невдачі з порожніми рядками на початку або в кінці вектора символів, коли «слово» не задовольняє \\W«s поняття несловообразующего (один може працювати з іншими регулярними виразами \\S+, [[:alpha:]]і т.д., але там завжди буде будь-які крайні випадки з підходом регулярного виразу) тощо. Це, швидше за все, ефективніше, ніж strsplitрішення, які виділять пам’ять для кожного слова. Регулярні вирази описані в ?regex.

Оновлення Як зазначено в коментарях та в іншій відповіді @Andri, підхід зазнає невдачі із (нульовими) та однословними рядками, а також із завершальною пунктуацією

str1 = c("", "x", "x y", "x y!" , "x y! z")
lengths(gregexpr("[A-z]\\W+", str1)) + 1L
# [1] 2 2 2 3 3

Багато інших відповідей також не дають результатів у цих чи подібних (наприклад, пробілах) випадках. Думаю, застереження моєї відповіді щодо „поняття одного слова” в оригінальній відповіді охоплює проблеми з розділовими знаками (рішення: виберіть інший регулярний вираз, наприклад, [[:space:]]+), але нульовий і один регістр слів є проблемою; Рішення @ Andri не розрізняє нуля та одного слова. Тож застосовуючи «позитивний» підхід до пошуку слів, можна

sapply(gregexpr("[[:alpha:]]+", str1), function(x) sum(x > 0))

Що веде до

sapply(gregexpr("[[:alpha:]]+", str1), function(x) sum(x > 0))
# [1] 0 1 2 2 3

Знову ж регулярний вираз може бути вдосконалений для різних понять "слово".

Мені подобається використовувати, gregexpr()оскільки це ефективно для пам'яті. Альтернативним використанням strsplit()(наприклад, @ user813966, але з регулярним виразом для розмежування слів) та використанням оригінального поняття розмежування слів є

lengths(strsplit(str1, "\\W+"))
# [1] 0 1 2 2 3

Для цього потрібно виділити нову пам’ять для кожного створеного слова та для проміжного списку слів. Це може бути відносно дорого, коли дані "великі", але, мабуть, це ефективно і зрозуміло для більшості цілей.

Найпростіший спосіб :

require(stringr)
str_count("one,   two three 4,,,, 5 6", "\\S+")

... підрахунок усіх послідовностей на непробільних символах ( \\S+).

Але як щодо маленької функції, яка дозволяє нам також вирішити, який тип слів ми хотіли б порахувати, а який також працює на цілі вектори ?

require(stringr)
nwords <- function(string, pseudo=F){
  ifelse( pseudo, 
          pattern <- "\\S+", 
          pattern <- "[[:alpha:]]+" 
        )
  str_count(string, pattern)
}

nwords("one,   two three 4,,,, 5 6")
# 3

nwords("one,   two three 4,,,, 5 6", pseudo=T)
# 6

Я використовую str_countфункцію з stringrбібліотеки з послідовністю екрану, \wяка представляє:

будь-який символ слова (буква, цифра або підкреслення в поточній мові: у режимі UTF-8 враховуються лише букви та цифри ASCII)

Приклад:

> str_count("How many words are in this sentence", '\\w+')
[1] 7

З усіх інших 9 відповідей, які мені вдалося протестувати, лише дві (від Вінсента Зонекінда та петермайснера) працювали на всі вкладені тут матеріали, але вони також вимагають stringr .

Але лише це рішення працює з усіма представленими на сьогодні входами, а також такими, як "foo+bar+baz~spam+eggs"або"Combien de mots sont dans cette phrase ?" .

Тест:

library(stringr)

questions <-
  c(
    "", "x", "x y", "x y!", "x y! z",
    "foo+bar+baz~spam+eggs",
    "one,   two three 4,,,, 5 6",
    "How many words are in this sentence",
    "How  many words    are in this   sentence",
    "Combien de mots sont dans cette phrase ?",
    "
    Day after day, day after day,
    We stuck, nor breath nor motion;
    "
  )

answers <- c(0, 1, 2, 2, 3, 5, 6, 7, 7, 7, 12)

score <- function(f) sum(unlist(lapply(questions, f)) == answers)

funs <-
  c(
    function(s) sapply(gregexpr("\\W+", s), length) + 1,
    function(s) sapply(gregexpr("[[:alpha:]]+", s), function(x) sum(x > 0)),
    function(s) vapply(strsplit(s, "\\W+"), length, integer(1)),
    function(s) length(strsplit(gsub(' {2,}', ' ', s), ' ')[[1]]),
    function(s) length(str_match_all(s, "\\S+")[[1]]),
    function(s) str_count(s, "\\S+"),
    function(s) sapply(gregexpr("\\W+", s), function(x) sum(x > 0)) + 1,
    function(s) length(unlist(strsplit(s," "))),
    function(s) sapply(strsplit(s, " "), length),
    function(s) str_count(s, '\\w+')
  )

unlist(lapply(funs, score))

Вихід:

6 10 10  8  9  9  7  6  6 11

str2 <- gsub(' {2,}',' ',str1)
length(strsplit(str2,' ')[[1]])

gsub(' {2,}',' ',str1) переконується все слова поділяються лише одним пропуском, шляхом заміни всіх входжень двох або більше пробілів одним пропуском.

strsplit(str,' ')Розділяє пропозицію в кожному просторі і повертає результат у вигляді списку. [[1]]Вистачає вектор слів з цього списку. lengthПідраховує , скільки слів.

> str1 <- "How many words are in this     sentence"
> str2 <- gsub(' {2,}',' ',str1)
> str2
[1] "How many words are in this sentence"
> strsplit(str2,' ')
[[1]]
[1] "How"      "many"     "words"    "are"      "in"       "this"     "sentence"
> strsplit(str2,' ')[[1]]
[1] "How"      "many"     "words"    "are"      "in"       "this"     "sentence"
> length(strsplit(str2,' ')[[1]])
[1] 7

Ви можете використовувати str_match_allрегулярний вираз, який би ідентифікував ваші слова. Наступні роботи з початковим, кінцевим та дубльованими пробілами.

library(stringr)
s <-  "
  Day after day, day after day,
  We stuck, nor breath nor motion;
"
m <- str_match_all( s, "\\S+" )  # Sequences of non-spaces
length(m[[1]])

Спробуйте цю функцію з stringiпакета

   require(stringi)
   > s <- c("Lorem ipsum dolor sit amet, consectetur adipisicing elit.",
    +        "nibh augue, suscipit a, scelerisque sed, lacinia in, mi.",
    +        "Cras vel lorem. Etiam pellentesque aliquet tellus.",
    +        "")
    > stri_stats_latex(s)
        CharsWord CharsCmdEnvir    CharsWhite         Words          Cmds        Envirs 
              133             0            30            24             0             0 

Ви можете використовувати функцію wc в бібліотеці qdap :

> str1 <- "How many words are in this sentence"
> wc(str1)
[1] 7

Ви можете видалити подвійні пробіли і підрахувати кількість " "у рядку, щоб отримати кількість слів. Використовуйте stringr та rm_white{ qdapRegex }

str_count(rm_white(s), " ") +1

Спробуйте це

length(unlist(strsplit(str1," ")))

Також з stringiпакета, функція прямого руху впередstri_count_words

stringi::stri_count_words(str1)
#[1] 7

Рішення 7 не дає правильного результату, якщо є лише одне слово. Вам слід не просто підрахувати елементи в результаті gregexpr (а це -1, якщо там, де не збігається), а підрахувати елементи> 0.

Ерго:

sapply(gregexpr("\\W+", str1), function(x) sum(x>0) ) + 1 

require(stringr)
str_count(x,"\\w+")

буде добре з подвійними / потрійними пробілами між словами

Усі інші відповіді мають проблеми з кількома пробілами між словами.

вимагати (stringr)

Визначте дуже просту функцію

str_words <- function(sentence) {

  str_count(sentence, " ") + 1

}

Перевірте

str_words(This is a sentence with six words)

Використовуйте nchar

якщо викликається вектор рядків x

(nchar(x) - nchar(gsub(' ','',x))) + 1

Знайдіть кількість пробілів, а потім додайте один

Я знайшов наступну функцію та регулярний вираз корисними для підрахунку слів, особливо при роботі з одинарними та подвійними дефісами, де перші, як правило, не повинні вважатися розривом слів, наприклад, добре відомий, hi-fi; тоді як подвійний дефіс є розділовим знаком, який не обмежений пробілами - наприклад, для думок у дужках.

txt <- "Don't you think e-mail is one word--and not two!" #10 words
words <- function(txt) { 
length(attributes(gregexpr("(\\w|\\w\\-\\w|\\w\\'\\w)+",txt)[[1]])$match.length) 
}

words(txt) #10 words

Stringi - це корисний пакет. Але в цьому прикладі він перелічує слова через дефіс.

stringi::stri_count_words(txt) #11 words

За допомогою stringr пакета можна також написати простий скрипт, який міг би пройти вектор рядків, наприклад, через цикл for.

Скажімо

df $ текст

містить вектор рядків, які нам цікаво проаналізувати. Спочатку ми додаємо додаткові стовпці до існуючого фрейму даних df, як показано нижче:

df$strings    = as.integer(NA)
df$characters = as.integer(NA)

Потім запускаємо цикл for над вектором рядків, як показано нижче:

for (i in 1:nrow(df)) 
{
   df$strings[i]    = str_count(df$text[i], '\\S+') # counts the strings
   df$characters[i] = str_count(df$text[i])         # counts the characters & spaces
}

Отримані стовпці: рядки та символ будуть містити кількість слів та символів, і це буде досягнуто одним рухом для вектора рядків.