Almacenar una cadena como UTF8 en C#

Question

Estoy haciendo mucha manipulación de cadenas en C#, y realmente necesito que las cadenas se almacenen un byte por carácter. Esto se debe a que necesito gigabytes de texto simultáneamente en la memoria y está causando problemas de poca memoria. Sé con certeza que este texto nunca contendrá caracteres que no sean ASCII, por lo que, para mi propósito, el hecho de que System.String y System.Char almacenan todo, ya que dos bytes por carácter son innecesarios y un problema real.

Estoy a punto de comenzar a codificar mis propias clases CharAscii y StringAscii - la cadena uno mantendrá básicamente sus datos como byte [], y expondrá métodos de manipulación de cadenas similares a los que hace System.String. Sin embargo, esto parece mucho trabajo para hacer algo que parece ser un problema muy estándar, así que realmente estoy publicando aquí para verificar que ya no haya una solución más fácil. ¿Hay alguna forma por la que pueda hacer que System.String almacene datos internamente como UTF8 que no he notado, o de alguna otra forma el problema?

Answer 1

Como ha encontrado, el CLR usa UTF-16 para la codificación de caracteres. Su mejor opción puede ser usar las clases de Codificación & BitConverter para manejar el texto. Esta pregunta tiene algunos buenos ejemplos para la conversión entre las dos codificaciones:

Convert String (UTF-16) to UTF-8 in C#

Answer 2

Bien, podría crear un contenedor que recupere los datos como bytes UTF-8 y convierta piezas según sea necesario a System.String, y viceversa, para volver a enviar la cadena a la memoria. La clase de Codificación lo ayudará aquí:

var utf8 = Encoding.UTF8; 
byte[] utfBytes = utf8.GetBytes(myString); 

var myReturnedString = utf8.GetString(utfBytes); 

Answer 3

No realmente. System.String está diseñado para almacenar cadenas. Su requisito es un subconjunto muy particular de cadenas con beneficios especiales de memoria.

Ahora, "un subconjunto muy particular de cadenas con beneficios particulares de memoria" aparece mucho, pero no siempre el mismo subconjunto muy particular. El código que es solo ASCII no es para ser leído por seres humanos, por lo que tiende a ser códigos cortos, o algo que puede manejarse en una manera de procesamiento de flujo, o fragmentos de texto combinados con bytes que realizan otros trabajos (por ejemplo, bastantes formatos binarios tendrán pequeños bits que se traducen directamente a ASCII).

Como tal, tiene un requisito bastante extraño.

Más aún cuando pasas a la parte de gigabytes. Si estoy lidiando con conciertos, de inmediato pienso en cómo puedo dejar de tener que lidiar con actuaciones y/u obtener ahorros mucho más serios que solo el 50%. Estaría pensando en mapear trozos que actualmente no me interesan en un archivo, o sobre cuerdas, o sobre un montón de otras cosas. Por supuesto, esos van a funcionar en algunos casos y no en todos, así que una vez más, no estamos hablando de algo en lo que .NET debería quedarse en algo como un tamaño único para todos, porque un tamaño no encajará todas.

Más allá de eso, solo el bit utf-8 no es tan difícil. Son todos los otros métodos que se convierten en trabajo. De nuevo, lo que necesitas allí no será lo mismo que otra persona.

Answer 4

Como puedo ver, su problema es que el carácter en C# ocupa 2 bytes, en lugar de uno.

Una manera de leer un archivo de texto es abrirlo con:

System.IO.FileStream fs = new System.IO.FileStream(file, System.IO.FileMode.Open); 
    System.IO.BinaryReader br = new System.IO.BinaryReader(fs); 

    byte[] buffer = new byte[1024]; 
    int read = br.Read(buffer, 0, (int)fs.Length); 

    br.Close(); 
    fs.Close(); 

Y de esta manera usted está leyendo los bytes del archivo. Lo probé con *.archivos txt codificados en UTF-8 que es 2 bytes por Char, y ANSI que es 1 byte por Char.