¿Cómo puede char [] representar una cadena UTF-8?

Question

En C11, se ha agregado un nuevo literal de cadena con el prefijo u8. Esto devuelve una matriz de caracteres con el texto codificado para UTF-8. Como es esto posible? ¿No está firmado un char normal? ¿Quiere decir que tiene un poco menos de información para usar debido al bit de signo? Mi lógica mostraría que una cadena de texto UTF-8 necesitaría ser una matriz de caracteres sin signo.

Answer 1

¿No es un chantaje normal firmado?

Es dependiente de la implementación si char es signed o unsigned.

Además, el bit de signo no se "pierde", todavía se puede usar para representar información, y char no es necesariamente de 8 bits (puede ser mayor en algunas plataformas).

Answer 2

No, un bit de signo es un poco no obstante! Y la especificación UTF-8 en sí misma no dice que los caracteres deben estar sin firmar.

PS Wat es kookwekker voor 'n naam?

Answer 3

Hay un problema potencial aquí:

Si una implementación con CHAR_BIT == 8 utiliza firmar grados de magnitud representación de char (por lo char se firma), entonces cuando UTF-8 requiere que el patrón de bits 10000000, que es una negativo 0. Entonces, si la implementación no admite 0 negativo, entonces una cadena UTF-8 dada podría contener un valor inválido (trap) de char, lo cual es problemático. Incluso si admite cero negativo, el hecho de que el patrón de bits 10000000 se compare igual que char con el patrón de bits 00000000 (el terminador nul) es probable que cause problemas al utilizar datos UTF-8 en un char[].

Creo que esto significa que para las implementaciones C11 de magnitud de señal, char debe estar sin firmar. Normalmente depende de la implementación si char está firmado o no, pero por supuesto si char está siendo firmado resulta en que no se implementan los literales UTF-8 correctamente, entonces el implementador solo tiene que seleccionar unsigned. Como un aparte, este ha sido el caso para las implementaciones de complemento de 2 de C++ todo el tiempo, ya que C++ permite char así como unsigned char para ser utilizado para acceder a representaciones de objetos. C solo permite unsigned char.

En complemento a 2 y el complemento 1s', los patrones de bits necesarios para UTF-8 datos son valores válidos de signed char, por lo que la aplicación es libre de hacer char ya sea con o sin signo y aún así ser capaz de representar cadenas UTF-8 en char[]. Esto se debe a que todos los patrones de 256 bits son valores de complemento de 2 válidos, y UTF-8 no usa el byte 11111111 (complemento negativo de 1s).

Answer 4

La firma de char no importa; utf8 se puede manejar con solo operaciones de desplazamiento y máscara (que pueden ser engorrosas para tipos con signo, pero no imposible) Pero: utf8 necesita al menos 8 bits, por lo que "assert (CHAR_BIT> = 8);"

Para ilustrar por punto: los siguientes fragmentos no contienen operaciones aritméticas en el valor del carácter, solo cambian la máscara &.

static int eat_utf8(unsigned char *str, unsigned len, unsigned *target) 
{ 
unsigned val = 0; 
unsigned todo; 

if (!len) return 0; 

val = str[0]; 
if ((val & 0x80) == 0x00) { if (target) *target = val; return 1; } 
else if ((val & 0xe0) == 0xc0) { val &= 0x1f; todo = 1; } 
else if ((val & 0xf0) == 0xe0) { val &= 0x0f; todo = 2; } 
else if ((val & 0xf8) == 0xf0) { val &= 0x07; todo = 3; } 
else if ((val & 0xfc) == 0xf8) { val &= 0x03; todo = 4; } 
else if ((val & 0xfe) == 0xfc) { val &= 0x01; todo = 5; } 
else { /* Default (Not in the spec) */ 
     if (target) *target = val; 
     return -1; } 


len--;str++; 
if (todo > len) { return -todo; } 

for(len=todo;todo--;) { 
     /* For validity checking we should also 
     ** test if ((*str & 0xc0) == 0x80) here */ 
     val <<= 6; 
     val |= *str++ & 0x3f; 
     } 

if (target) *target = val; 
return 1+ len; 
}