Expresión regular para buscar y eliminar palabras duplicadas

Question

Usando expresiones regulares en C#, ¿hay alguna manera de encontrar y eliminar palabras o símbolos duplicados en una cadena que contenga una variedad de palabras y símbolos?

Ej.

secuencia inicial de las palabras:

". Me gusta el medio ambiente El medio ambiente es bueno"

cadena deseada:

"Me gusta el ambiente es bueno"

duplicados eliminados: "el", "medio ambiente", ""

Answer 1

Según lo dicho por otros, se necesita más que una expresión regular para realizar un seguimiento de las palabras:

var words = new HashSet<string>(); 
string text = "I like the environment. The environment is good."; 
text = Regex.Replace(text, "\\w+", m => 
        words.Add(m.Value.ToUpperInvariant()) 
         ? m.Value 
         : String.Empty); 

Answer 2

Bueno, Jeff me ha enseñado cómo usar la magia de las referencias en expresión y el modificador global para que esto ocurra, por lo que mi respuesta original no funciona. Todos deberían votar por la respuesta de Jeff. Sin embargo, para la posteridad Voy a señalar que hay un problema de sensibilidad motor de expresiones regulares poco difícil en éste, y si estuviera usando expresiones regulares con sabor a Perl, lo que tendría que hacer esto:

\b(\S+)\b(?=.*\b\1\b.*) 

en lugar de la respuesta de Jeff, porque la expresión regular de C# capturará efectivamente \b en \1 pero PCRE no lo hará.

Answer 3

Tenga una mirada en referencias hacia atrás:
http://msdn.microsoft.com/en-us/library/thwdfzxy(VS.71).aspx

Este una expresión regular que va a encontrar palabras duplicado. Pero solo coincidirá con una palabra por partido. Entonces debes usarlo más de una vez.

new Regex(@"(.*)\b(\w+)\b(.*)(\2)(.*)", RegexOptions.IgnoreCase); 

Por supuesto, esta no es la mejor solución (ver otras respuestas, que proponen no usar una expresión regular en absoluto). Pero usted pidió una expresión regular, aquí hay una. Tal vez la idea te ayude ...

Answer 4

Regex no es adecuado para todo. Algo como tu problema cae dentro de esa categoría. Te aconsejaría usar un analizador en su lugar.

Answer 5

Como han señalado otros, esto es factible con las referencias retrospectivas. Consulte http://msdn.microsoft.com/nb-no/library/thwdfzxy(en-us).aspx para obtener detalles sobre cómo utilizar las referencias en .Net.

su problema particular para eliminar puntuacion, así lo hace un poco más complicado, pero creo que el código lo largo de estas líneas (espacio en blanco no es significativo, ya que la expresión regular) debe hacer el truco:

(\b\w+(?:\s+\w+)*)\s+\1 

tengo No ha probado la expresión regular en absoluto, pero debe coincidir con una o más palabras separadas por espacios en blanco que se repiten. Tendrá que agregar un poco más de lógica para permitir la punción y así sucesivamente.

Answer 6

usted no será capaz de utilizar expresiones regulares para este problema, ya que la expresión regular sólo coincide con los lenguajes regulares.El patrón que está intentando hacer coincidir es sensible al contexto y, por lo tanto, no es "regular".

Afortunadamente, es bastante fácil escribir un analizador. Eche un vistazo al código de Per Erik Stendahl.

Answer 7

Las expresiones regulares serían una mala elección de "herramientas" para resolver este problema. Tal vez el siguiente podría funcionar:

HashSet<string> corpus = new HashSet<string>(); 
char[] split = new char[] { ' ', '\t', '\r', '\n', '.', ';', ',', ':', ... }; 

foreach (string line in inputLines) 
{ 
    string[] parts = line.Split(split, StringSplitOptions.RemoveEmptyEntries); 
    foreach (string part in parts) 
    { 
     corpus.Add(part.ToUpperInvariant()); 
    } 
} 

// 'corpus' now contains all of the unique tokens 

EDIT: Esto me está haciendo un gran supuesto de que eres "léxico" de algún tipo de análisis como la búsqueda.

Answer 8

Esto parece funcionar para mí

(\b\S+\b)(?=.*\1) 

Partidos como tal

 
apple apple orange 
orange red bluegreen orange green blue 
piratesninjas cowboys ninjas pirates 

Answer 9

Some people, when confronted with a problem, think “I know, I'll use regular expressions.” Now they have two problems.

Ver When not to use Regex in C# (or Java, C++ etc)

Por supuesto, el uso de una expresión regular para dividir la cadena en palabras puede ser un primer paso útil, sin embargo String.Split() es claro y lameza de hacer todo lo que necesita.