«tokenize» etiketlenmiş sorular

Java'nın uygun bir bölünme yöntemi vardır: String str = "The quick brown fox"; String[] results = str.split(" "); C ++ bunu yapmanın kolay bir yolu var mı?

414 c++  string  split  tokenize 

Aşağıdaki kullanarak C ++ bir dize ayrıştırma: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } Tek bir karakter sınırlayıcı ile ayrıştırma iyidir. Ama ne bir dize sınırlayıcı olarak kullanmak istersem. Örnek: Bölmek istiyorum: scott>=tiger ile >=ayırıcı olarak ben Scott …

364 c++  parsing  split  token  tokenize 

StringTokenizer? Dönüştürmek Stringa char[]ve bunun üzerinde yineleme? Başka bir şey?

341 java  string  iteration  character  tokenize 

Dize varsayalım 1:2:3:4:5ve son alanını ( 5bu durumda) almak istiyorum . Bash kullanarak bunu nasıl yapabilirim? Denedim cut, ancak son alanı nasıl belirleyeceğimi bilmiyorum -f.

293 bash  split  tokenize  cut 

Ben sadece Java'nın Tarayıcı sınıfı hakkında öğrendim ve şimdi nasıl karşılaştırır / StringTokenizer ve String.Split ile rekabet merak ediyorum. StringTokenizer ve String.Split sadece Dizeleri üzerinde çalıştığını biliyorum, bu yüzden neden bir String için Tarayıcı kullanmak isteyeyim? Tarayıcı sadece ayırma için tek elden alışveriş mi olacak?

155 java  java.util.scanner  tokenize  split 

Ben bir "tokenizer", "ayrıştırıcı" ve "lexer" ne olduğunu ve birbirleri ile nasıl açık bir tanımını arıyorum (örneğin, bir ayrıştırıcı bir tokenizer kullanır veya tam tersi)? Veri beyanı ve tanımları ayıklamak için c / h kaynak dosyaları üzerinden gidecek bir program oluşturmak gerekir. Örnekler arıyordum ve bazı bilgiler bulabilirim, ancak gramer …

151 parsing  lexer  tokenize 

Böyle bir şeyden: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) Böyle bir şey almak istiyorum: 1 2 3 Kod bu şekilde kendini okuyabilir mi? Tüm istediğim kodun daha iç içe bölümlerinden daha iç içe olması için çıktı. Bu, kodun okunmasını kolaylaştırdığı gibi, çıktıyı da okumayı kolaylaştırır. Tabii ki bunu manuel olarak uygulayabilirim, örneğin .format(), …

149 python  reflection  metaprogramming  indentation  tokenize 

Bir NSString'i Objective-C'de belirtmenin / bölmenin en iyi yolu nedir?

144 objective-c  cocoa  tokenize 

NLTK kullanmaya yeni başlıyorum ve metinden bir kelime listesini nasıl alacağımı tam olarak anlamıyorum. Kullanırsam nltk.word_tokenize(), bir kelime ve noktalama işareti listesi alırım. Bunun yerine sadece kelimelere ihtiyacım var. Noktalama işaretlerinden nasıl kurtulabilirim? Ayrıca word_tokenizebirden fazla cümlede çalışmaz: Son kelimeye noktalar eklenir.

125 python  nlp  tokenize  nltk 

Bunun PHP ve MYSQL ile bir dereceye kadar yanıtlandığını biliyorum, ancak birinin Oracle 10g (tercihen) ve 11g'de bir dizeyi (virgülle sınırlanmış) birden çok satıra bölmenin en basit yaklaşımını öğretip öğretemeyeceğini merak ediyordum. Tablo aşağıdaki gibidir: Name | Project | Error 108 test Err1, Err2, Err3 109 test2 Err1 Aşağıdakileri oluşturmak …

104 sql  string  oracle  plsql  tokenize