Що таке VectorSource та VCorpus в пакеті 'tm' (Text Mining) в R

9

Я не зовсім впевнений, що саме VectorSource та VCorpus є у пакеті 'tm'.

Документація щодо них незрозуміла, може хтось змусить мене зрозуміти простими словами?

r text-mining

— йом
джерело

12

«Корпус» - це сукупність текстових документів.

VCorpus in tm посилається на "Летючий" корпус, що означає, що корпус зберігається в пам'яті і може бути знищений, коли об'єкт R, що містить його, знищений.

Порівнюйте це з PCorpus або Permanent Corpus, які зберігаються поза пам'яттю, наприклад, у db.

Для того, щоб створити VCorpus за допомогою tm, нам потрібно передати об’єкт «Джерело» як параметр методу VCorpus. Ви можете знайти доступні джерела за допомогою цього методу -
getSources ()

[1] "DataframeSource" "DirSource" "URISource" "VectorSource"
[5] "XMLSource" "ZipSource"

Джерело конспектує вхідні місця, як-от каталог, URI тощо. VectorSource призначений лише для векторів символів

Простий приклад:

Скажіть, у вас є векторний шар -

input <- c ("Це рядок перший", "І це другий")

Створення джерела - vecSource <- VectorSource (введення)

Потім створіть корпус - VCorpus (vecSource)

Сподіваюсь, це допомагає. Більше ви можете прочитати тут - https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf

— Інді
джерело

5

На практиці велика різниця між Corpusта VCorpus.

Corpusвикористовується SimpleCorpusяк за замовчуванням, що означає, що деякі функції VCorpusне будуть доступні. Одне з очевидних - це те SimpleCorpus, що не дозволить зберегти тире, підкреслення чи інші знаки пунктуації; SimpleCorpusабо Corpusавтоматично видаляє їх, VCorpusне робить. Є й інші обмеження, Corpusякі ви знайдете в довідці ?SimpleCorpus.

Ось приклад:

# Read a text file from internet
filePath <- "http://www.sthda.com/sthda/RDoc/example-files/martin-luther-king-i-have-a-dream-speech.txt"
text <- readLines(filePath)

# load the data as a corpus
C.mlk <- Corpus(VectorSource(text))
C.mlk
V.mlk <- VCorpus(VectorSource(text))
V.mlk

Вихід буде:

<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 46
<<VCorpus>>
Metadata:  corpus specific: 0, document level (indexed): 0
Content:  documents: 46

Якщо ви робите огляд об’єктів:

# inspect the content of the document
inspect(C.mlk[1:2])
inspect(V.mlk[1:2])

Ви помітите, що Corpusрозпаковує текст:

<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 2
[1]                                                                                                                                            
[2] And so even though we face the difficulties of today and tomorrow, I still have a dream. It is a dream deeply rooted in the American dream.


<<VCorpus>>
Metadata:  corpus specific: 0, document level (indexed): 0
Content:  documents: 2
[[1]]
<<PlainTextDocument>>
Metadata:  7
Content:  chars: 0
[[2]]
<<PlainTextDocument>>
Metadata:  7
Content:  chars: 139

Поки VCorpusтримає його разом у межах об’єкта.

Скажімо, тепер ви робите перетворення матриці для обох:

dtm.C.mlk <- DocumentTermMatrix(C.mlk)
length(dtm.C.mlk$dimnames$Terms)
# 168

dtm.V.mlk <- DocumentTermMatrix(V.mlk)
length(dtm.V.mlk$dimnames$Terms)
# 187

Нарешті, давайте подивимось зміст. Це від Corpus:

grep("[[:punct:]]", dtm.C.mlk$dimnames$Terms, value = TRUE)
# character(0)

І від VCorpus:

grep("[[:punct:]]", dtm.V.mlk$dimnames$Terms, value = TRUE)

[1] "alabama,"       "almighty,"      "brotherhood."   "brothers."     
 [5] "california."    "catholics,"     "character."     "children,"     
 [9] "city,"          "colorado."      "creed:"         "day,"          
[13] "day."           "died,"          "dream."         "equal."        
[17] "exalted,"       "faith,"         "gentiles,"      "georgia,"      
[21] "georgia."       "hamlet,"        "hampshire."     "happens,"      
[25] "hope,"          "hope."          "injustice,"     "justice."      
[29] "last!"          "liberty,"       "low,"           "meaning:"      
[33] "men,"           "mississippi,"   "mississippi."   "mountainside," 
[37] "nation,"        "nullification," "oppression,"    "pennsylvania." 
[41] "plain,"         "pride,"         "racists,"       "ring!"         
[45] "ring,"          "ring."          "self-evident,"  "sing."         
[49] "snow-capped"    "spiritual:"     "straight;"      "tennessee."    
[53] "thee,"          "today!"         "together,"      "together."     
[57] "tomorrow,"      "true."          "york."

Погляньте на слова з розділовими знаками. Це величезна різниця. Чи не так?

— f0nzie
джерело