Запитання з тегом «tokenize»

У Java є зручний метод розділення: String str = "The quick brown fox"; String[] results = str.split(" "); Чи є простий спосіб зробити це в C ++?

414 c++  string  split  tokenize 

Я розбираю рядок у C ++, використовуючи наступне: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } Розбір з одним роздільником лінійки добре. Але що робити, якщо я хочу використовувати рядок як роздільник. Приклад: Я хочу розділити: scott>=tiger з >=розмежувачем, …

361 c++  parsing  split  token  tokenize 

StringTokenizer? Перетворити Stringна а char[]і повторити це? Щось ще?

341 java  string  iteration  character  tokenize 

Припустимо, у мене є рядок, 1:2:3:4:5і я хочу отримати його останнє поле ( 5у цьому випадку). Як це зробити за допомогою Bash? Я спробував cut, але не знаю, як вказати останнє поле -f.

293 bash  split  tokenize  cut 

Щойно я дізнався про клас сканування Java, і тепер мені цікаво, як він порівнює / конкурує зі StringTokenizer та String.Split. Я знаю, що StringTokenizer і String.Split працюють лише на Strings, тож чому я хочу використовувати сканер для рядка? Чи сканер просто призначений для купівлі-розкрутки для розщеплення?

155 java  java.util.scanner  tokenize  split 

Я шукаю чіткого визначення того, що таке "токенізатор", "аналізатор" і "лексер" і як вони пов'язані один з одним (наприклад, чи використовує аналізатор токенізатор чи навпаки)? Мені потрібно створити програму буде проходити через вихідні файли c / h для витягування декларації даних та визначень. Я шукав приклади і можу знайти деяку …

151 parsing  lexer  tokenize 

З чогось такого: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) Я хотів би отримати щось подібне: 1 2 3 Чи може код читати себе таким чином? Все, що я хочу, - це висновок з більш вкладених частин коду, які будуть більш вкладеними. Таким же чином, як це полегшує читання коду, це зробить висновок простішим …

149 python  reflection  metaprogramming  indentation  tokenize 

Який найкращий спосіб токенізувати / розділити NSString в Objective-C?

144 objective-c  cocoa  tokenize 

Я тільки починаю використовувати NLTK і не зовсім розумію, як отримати список слів з тексту. Якщо я використовую nltk.word_tokenize(), я отримую список слів і розділові знаки. Мені потрібні лише слова. Як я можу позбутися пунктуації? Також word_tokenizeне працює з кількома реченнями: крапки додаються до останнього слова.

125 python  nlp  tokenize  nltk 

Я знаю, що на це якимось чином відповіли PHP та MYSQL, але мені було цікаво, чи може хтось навчити мене найпростішого підходу до розбиття рядка (розділеного комами) на кілька рядів у Oracle 10g (бажано) та 11g. Таблиця така: Name | Project | Error 108 test Err1, Err2, Err3 109 test2 …

104 sql  string  oracle  plsql  tokenize 

Я намагаюся використовувати Apache Lucene для токенізації, і мене бентежить процес отримання токенів у TokenStream. Найгірше те, що я переглядаю коментарі в JavaDocs, які стосуються мого питання. http://lucene.apache.org/java/3_0_1/api/core/org/apache/lucene/analysis/TokenStream.html#incrementToken%28%29 Якось AttributeSourceпередбачається використовувати а, а не Tokens. Я абсолютно втрачений. Хтось може пояснити, як отримати токен-подібну інформацію з TokenStream?

74 java  attributes  lucene  token  tokenize