¿Tiene C# un Tokenizer de cadenas como el de Java?

Question

Estoy haciendo un análisis simple de entrada de cadena y estoy necesitando un tokenizador de cadena. Soy nuevo en C# pero he programado Java, y parece natural que C# tenga un tokenizador de cadenas. ¿Lo hace? ¿Dónde está? ¿Como lo uso?

Answer 1

Puede usar String.Split method.

class ExampleClass 
{ 
    public ExampleClass() 
    { 
     string exampleString = "there is a cat"; 
     // Split string on spaces. This will separate all the words in a string 
     string[] words = exampleString.Split(' '); 
     foreach (string word in words) 
     { 
      Console.WriteLine(word); 
      // there 
      // is 
      // a 
      // cat 
     } 
    } 
} 

Para más información ver Sam Allen's article about splitting strings in c# (Rendimiento, Regex)

Answer 2

creo que el más cercano en el .NET Framework es

 
string.Split() 

Answer 3

El método de escisión de una cadena es lo que necesita. De hecho, la clase tokenizer en Java está en desuso en favor del método de división de cadenas de Java.

Answer 4

para la división compleja que podría utilizar una expresión regular la creación de una colección partido.

Answer 5

Si está utilizando C# 3.5 puede escribir un método de extensión para System.String que hace la división que necesita. A continuación, a continuación, puede utilizar la sintaxis:

string.SplitByMyTokens(); 

Más información y un ejemplo útil de MS aquí http://msdn.microsoft.com/en-us/library/bb383977.aspx

Answer 6

uso Regex.Split(string,"#|#");

Answer 7

leer esto, función de división tiene una sobrecarga toma una matriz consta de separadores http://msdn.microsoft.com/en-us/library/system.stringsplitoptions.aspx

Answer 8

Solo quiero resaltar el poder del método Split de C# y brindar una comparación más detallada, particularmente de alguien que proviene de un backgrou de Java Dakota del Norte.

Mientras StringTokenizer en Java sólo permite un único delimitador, en realidad podemos dividir en múltiples delimitadores hacer expresiones regulares menos necesario (aunque si uno necesita de expresiones regulares, el uso de expresiones regulares por todos los medios!) Tomemos, por ejemplo, esto:

str.Split(new char[] { ' ', '.', '?' }) 

Esto se divide en tres delimitadores diferentes que devuelven una matriz de tokens. También podemos eliminar las matrices vacías con lo que sería un segundo parámetro para el ejemplo anterior:

str.Split(new char[] { ' ', '.', '?' }, StringSplitOptions.RemoveEmptyEntries) 

Una cosa tokenizer cadena de Java no tiene que creo que C# es deficiente (al menos Java 7 tiene esta característica) es la capacidad para mantener los delimitadores como tokens. C# 's Split descartará los tokens. Esto podría ser importante, por ejemplo, en algunas aplicaciones NLP, pero para aplicaciones más generales, esto podría no ser un problema.

Answer 9

_words = new List<string>(YourText.ToLower().Trim('\n', '\r').Split(' '). 
      Select(x => new string(x.Where(Char.IsLetter).ToArray()))); 

O

_words = new List<string>(YourText.Trim('\n', '\r').Split(' '). 
      Select(x => new string(x.Where(Char.IsLetterOrDigit).ToArray()))); 

Answer 10

El método similar al de Java es:

Regex.Split(string, pattern); 

donde

• string - el texto necesita dividir
• pattern - cadena de patrón de tipo, lo que se está dividiendo el texto

Answer 11

Si usted está tratando de hacer algo como argumentos de línea de comando de la división en una aplicación de consola .NET, vas a tener problemas porque es bien .NET roto o está tratando de ser inteligente (lo que significa que es tan bueno como roto). Necesitaba poder dividir los argumentos por el carácter de espacio, conservando los literales que se citaban para que no se dividieran en el medio. Este es el código que he escrito para hacer el trabajo:

private static List<String> Tokenise(string value, char seperator) 
{ 
    List<string> result = new List<string>(); 
    value = value.Replace(" ", " ").Replace(" ", " ").Trim(); 
    StringBuilder sb = new StringBuilder(); 
    bool insideQuote = false; 
    foreach(char c in value.ToCharArray()) 
    { 
     if(c == '"') 
     { 
      insideQuote = !insideQuote; 
     } 
     if((c == seperator) && !insideQuote) 
     { 
      if (sb.ToString().Trim().Length > 0) 
      { 
       result.Add(sb.ToString().Trim()); 
       sb.Clear(); 
      } 
     } 
     else 
     { 
      sb.Append(c); 
     } 
    } 
    if (sb.ToString().Trim().Length > 0) 
    { 
     result.Add(sb.ToString().Trim()); 
    } 

    return result; 
}