UTF-8 - Historial de revisiones

Edeliochajc en 17:45 8 ago 2014

2014-08-08T17:45:17Z

Edeliochajc en 17:16 8 ago 2014

2014-08-08T17:16:51Z

Edeliochajc en 16:29 8 ago 2014

2014-08-08T16:29:46Z

Carlos idict en 12:46 9 abr 2013

2013-04-09T12:46:07Z

103 en 20:11 1 ago 2011

2011-08-01T20:11:28Z

Javier1201adjc: Página creada con '{{Objeto |nombre= UTF-8|imagen= UTF-8.jpg|descripcion= Ejemplo del sistema de codificación UTF-8}} '''UTF-8''' (8-bit Unicode Transformation Format) es una norma de transmisió...'

2011-07-23T13:24:33Z

Página creada con '{{Objeto |nombre= UTF-8|imagen= UTF-8.jpg|descripcion= Ejemplo del sistema de codificación UTF-8}} '''UTF-8''' (8-bit Unicode Transformation Format) es una norma de transmisió...'

Página nueva

{{Objeto |nombre= UTF-8|imagen= UTF-8.jpg|descripcion= Ejemplo del sistema de codificación UTF-8}}
'''UTF-8''' (8-bit Unicode Transformation Format) es una norma de transmisión de longitud variable para codificación de caracteres|caracteres codificados utilizando Unicode, creada por [[Rob Pike]] y [[Ken Thompson]].
'''UTF-8''' usa grupos de bytes para representar el estándar de Unicode para los alfabetos de muchos de los lenguajes del mundo. Es especialmente útil para la transmisión sobre sistemas de correo de 8 [[bits]].

Usa de 1 a 4 bytes por carácter, dependiendo del símbolo de Unicode. Por ejemplo, se necesita un solo byte en UTF-8 para codificar los 128 caracteres ASCII|US-ASCII en el rango U+0000 a U+007F de Unicode.

Aunque podría parecer ineficiente representar [[caracteres Unicode]] con hasta 4 [[bytes]], UTF-8 permite a sistemas antiguos transmitir caracteres de este superconjunto de [[ASCII]]. Además, sigue siendo posible utilizar compresión de datos independientemente del uso de UTF-8.

El IETF requiere que todos los protocolos de [[Internet]] indiquen qué código de caracteres|codificación utilizan para los textos y que UTF-8 sea una de las codificaciones contempladas.

== Descripción ==
UTF-8 está actualmente estandarizado como RFC 3629 (''UTF-8, una transformación de formato de ISO 10646'').

En resumen, los bits de carácter Unicode son divididos en varios grupos, los cuales son después divididos entre las posiciones más bajas dentro de los bytes UTF-8.

Los caracteres más pequeños que 128dec son codificados con un byte sencillo que contiene su valor: este corresponde exactamente a los caracteres de 7-bit de los 128 del ASCII.

En los demás casos, se utilizan de 2 a 4 bytes. El bit más significativo de todos los bytes de esta cadena es siempre 1, para prevenir la confusión con los caracteres de 7-bits del ASCII, particularmente los caracteres menores a 32dec, tradicionalmente llamados caracteres de control, ej. retorno de carro).


<table class="wikitable" border=1>
<tr>
<td>Rango de Código UNICODE hexadecimal</td>
<td>UTF-16</td>
<td>UTF-8 sistema binario|binario</td>
<td>Notas</td>
<tr>
<td>000000 - 00007F</td>
<td>00000000 0xxxxxxx</td>
<td>0xxxxxxx</td>
<td> Rango equivalente a ASCII; el único byte comienza con cero</td>
</tr>
<tr>
<td>000080 - 0007FF</td>
<td>00000xxx xxxxxxxx</td>
<td>110xxxxx 10xxxxxx</td>
<td rowspan=2 align=top>El primer byte comienza con 110 o 1110, los bytes siguientes comienzan con 10</td>
</tr>
<tr>
<td>000800 - 00FFFF</td>
<td>xxxxxxxx xxxxxxxx</td>
<td>1110xxxx 10xxxxxx 10xxxxxx</td>
</tr>
<tr>
<td>010000 - 10FFFF</td>
<td>110110xx xxxxxxxx 110111xx xxxxxxxx</td>
<td>11110xxx 10xxxxxx 10xxxxxx 10xxxxxx</td>
<td>UTF-16 require sustitutos; una compensación de 0x10000 es substraída, así el bit patrón no es idéntico con UTF-8</td>
</tr>
</table>


Por ejemplo, el carácter eñe (ñ), que se representa en Unicode como 0x00F1, en UTF-8 se codifica de esta manera:
* Su valor se sitúa en el rango de 0x0080 a 0x07FF. Una consulta a la tabla permite ver que debe ser codificado usando 2 [[bytes]], con el formato ''110''xxxxx ''10''xxxxxx.
* El valor hexadecimal 0x00F1 es equivalente al binario (0000-0)'''000-1111-0001''' (los primeros 5 [[bits]] se ignoran, ya que no son necesarios para representar valores en el rango especificado).
* Los 11 bits requeridos se sitúan ordenados en la posición marcada por las equis: ''110'''''00011''' ''10'''''110001'''.
* El resultado final son dos bytes con los valores hexadecimales 0xC3 0xB1. Ese es el código de la letra eñe en UTF-8.

De este modo, los primeros 128 caracteres necesitan un byte. Los siguientes 1920 caracteres necesitan dos bytes para ser codificados. Esto incluye caracteres del [[Alfabeto Latino]] con Diacrítico, [[Alfabeto griego]], [[Alfabeto cirílico]], [[Alfabeto copto]]|copto, [[Alfabeto armenio]], [[Alfabeto hebreo]] y [[Alfabeto arábigo]]. El resto de los caracteres UCS-2 usan tres bytes y caracteres adicionales son codificados con 4 bytes. (Una especificación inicial permitía aún más códigos para ser representados, usando 5 ó 6 bytes, pero no fue muy bien aceptado.)

De hecho, UTF-8 permite usar una secuencia de 6 bytes y cubrir completamente el rango 0x00-0x7FFFFFFF (31 bits), pero UTF-8 fue restringido por RFC 3629 para usar solamente el área cubierta por la definición formal de Unicode, 0x00-0x10FFFF, en noviembre de [[2003]]. Antes de esto, sólo los bytes 0xFE y 0xFF no ocurrían en el texto codificado UTF-8. Después de haberse introducido este límite, el número de bytes no usados en una cadena UTF-8 se incrementó a 13 bytes: 0xC0, 0xC1, 0xF5-0xFF. Aunque esta nueva definición limita el área de codificación severamente, el problema de flujos muy largos (diferentes maneras de codificar el mismo carácter, lo cual puede ser un riesgo para la seguridad) es eliminado, por que flujos muy largos contendrían algunos de estos bytes que no son usados y por lo tanto no sería una secuencia válida.

== Razonamiento detrás de la mecánica de UTF-8 ==

Como una consecuencia de la exacta mecánica de UTF-8, se muestran las siguientes propiedades de secuencia multi-byte:

* El bit más significativo de un carácter de byte-simple es siempre <code>0</code>.
* Los bits más significativos del primer byte de una secuencia multi-byte determinan la longitud de la secuencia. Estos bits más significativos <code>110</code> para secuencias de dos bytes; <code>1110</code> para secuencias de tres bytes, etc.
* Los bytes restantes en una secuencia multi-byte tienen <code>10</code> como sus 2 bits más significativos.

UTF-8 fue diseñado para satisfacer estas propiedades, de forma que se garantiza que ninguna secuencia de bytes de un carácter esté contenida dentro de una secuencia de bytes más larga de otro carácter. Esto asegura que la correspondencia de subcadenas puede ser aplicada para buscar palabras o frases dentro de un texto; algunas viejas codificaciones de longitud variable de 8-bits (tal como Shift-JIS) no tenían esta propiedad y de este modo hacían más complicado implementar algoritmos de búsqueda de cadenas. Aunque se ha argumentado que esta propiedad añade redundancia al texto codificado en UTF-8, las ventajas pesan más que esta preocupación; además, la compresión de datos no es uno de los objetivos de Unicode y debe ser considerado por separado.

== Ventajas ==

* Por supuesto, la ventaja más notable de cualquier Formato de Transformación Unicode sobre codificaciones heredadas es que este puede codificar cualquier carácter.
* Algunos símbolos Unicode (incluido el [[Alfabeto latino]]) se tomarán como 1 byte, aunque otros pueden tomar más de 4. Así, UTF-8 generalmente ahorrará espacio comparado con UTF-16 o UTF-32 en donde los caracteres ASCII de 7 bits son comunes.
* Una secuencia de bytes para un carácter jamás será parte de una secuencia más larga de otro carácter como lo hacían viejas codificaciones como Shift-JIS.
* El primer byte de una secuencia multi-byte es suficiente para determinar la longitud de una secuencia multi-byte-. Esto hace extremadamente simple extraer una subcadena de una cadena dada sin elaborar un análisis exhaustivo.
* La mayor parte del software existente (incluido el [[sistema operativo]]) no fueron escritos con Unicode en mente, y usar Unicode con ellos podría crear algunos problemas de compatibilidad. Por ejemplo, la librería estándar del [[lenguaje de programación C]] marca el final de una cadena con el carácter de un único byte 0x00. En la codificación Unicode UTF-16 la letra A en inglés es codificada como 0x0041. La librería considerará el primer byte 0x00 como el fin de la cadena e ignorará el resto. UTF-8, sin embargo, está diseñado para que los bytes codificados nunca tomen alguno de los valores de los caracteres especiales de ASCII, previniendo estos problemas y otros similares.
* Las cadenas en UTF-8 pueden ser ordenadas usando rutinas de ordenamiento estándar orientadas a byte (sin embargo no habrá ninguna diferenciación entre las mayúsculas y las minúsculas con representaciones que exceden el valor 128).
* UTF-8 es el valor predeterminado para el [[formato XML]].

== Desventajas ==

* UTF-8 es de longitud variable; eso significa que diferentes caracteres toman secuencias de diferentes longitudes para codificar. La agudeza de esto podría ser disminuida, sin embargo, creando una interfaz abstracta para trabajar con cadenas UTF-8 y haciéndolo transparente al usuario.

* Un analizador de UTF-8 mal escrito podría aceptar un número de diferentes representaciones pseudo-UTF-8 y convertirlas en la misma salida Unicode.
* Los caracteres ideográficos usan 3 bytes en UTF-8, pero sólo 2 en UTF-16. Así, los textos chinos/japoneses/coreanos usarán más espacio cuando sean representados en UTF-8.

== Historia ==

UTF-8 fue inventado por [[Ken Thompson]] el [[2 de septiembre]] de [[1992]] en un mantel de un merendero de [[Nueva Jersey]] con [[Rob Pike]]. Al día siguiente, Pike y Thompson lo implementaron e implantaron en su sistema operativo Plan 9.

UTF-8 fue oficialmente presentado en la conferencia USENIX en [[San Diego]] ([[California]])en Enero de [[1993]].

== Enlaces externos ==
* [http://www.juque.cl/weblog/2006/01/25/ascii-unicode-utf8-y-la-iatarnaaianalizaaian-parte-i.html ASCII, Unicode, UTF-8 y la Internacionalización - parte I]
* [http://www.juque.cl/weblog/2006/04/02/ascii-unicode-utf8-y-la-iatarnaaianalizaaian-parte-ii.html ASCII, Unicode, UTF-8 y la Internacionalización - parte II]
* [http://www.juque.cl/limpia-utf8/ Limpia UTF8 corrupto]
* [http://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt Rob Pike comenta la historia de cómo creó UTF-8] (en inglés)
* [http://www.cs.bell-labs.com/sys/doc/utf.pdf Artículo original del UTF-8] (en inglés)
* [http://ietf.org/rfc/rfc3629 RFC 3629], el estándar UTF-8 (en inglés)
* [http://ietf.org/rfc/rfc2277 RFC 2277], política IETF para conjuntos de caracteres y lenguajes (en inglés)
* [http://www.cl.cam.ac.uk/~mgk25/unicode.html Preguntas frecuentes sobre UTF-8 y Unicode] (en inglés)
* [http://www.utf-8.com/ UTF-8] (en inglés)
* [http://www.ccss.de/slovo/testuni.htm una página de prueba de UTF-8] (en inglés)
* [http://freenet-homepage.de/prilop/multilingual-1.html otra página de prueba de UTF-8] (en inglés)

==Fuente==
*[http://ucipedia.uci.cu/index.php/UTF-8 http://ucipedia.uci.cu/index.php/UTF-8]

[[Category: Software]]

@@ Línea 1: / Línea 1: @@
 {{Objeto |nombre= UTF-8|imagen= UTF-8.jpg|descripcion= Ejemplo del sistema de codificación UTF-8}}
-'''UTF-8'''. (8-bit Unicode Transformation Format). Es una norma de transmisión de longitud variable para codificación de [[caracteres]] codificados utilizando Unicode, creada por [[Rob Pike]] y [[Ken Thompson]].
+'''UTF-8'''. (8-bit Unicode Transformation Format). Es una norma de transmisión de longitud variable para codificación de [[Caracter (informática)|caracteres]] codificados utilizando Unicode, creada por [[Rob Pike]] y [[Ken Thompson]].
 '''UTF-8''' usa grupos de bytes para representar el estándar de Unicode para los alfabetos de muchos de los lenguajes del mundo. Es especialmente útil para la transmisión sobre sistemas de correo de 8 [[bits]].
 Usa de 1 a 4 bytes por caracter, dependiendo del símbolo de Unicode. Por ejemplo, se necesita un solo byte en UTF-8 para codificar los 128 caracteres ASCII|US-ASCII en el rango U+0000 a U+007F de Unicode.
-Aunque podría parecer ineficiente representar [[caracteres Unicode]] con hasta 4 [[bytes]], UTF-8 permite a sistemas antiguos transmitir caracteres de este superconjunto de [[ASCII]]. Además, sigue siendo posible utilizar compresión de datos independientemente del uso de UTF-8.
+Aunque podría parecer ineficiente representar caracteres ''Unicode'' con hasta 4 [[bytes]], UTF-8 permite a sistemas antiguos transmitir caracteres de este superconjunto de [[ASCII]]. Además, sigue siendo posible utilizar compresión de datos independientemente del uso de UTF-8.
 El IETF requiere que todos los protocolos de [[Internet]] indiquen qué código de caracteres|codificación utilizan para los textos y que UTF-8 sea una de las codificaciones contempladas.

← Revisión anterior		Revisión del 20:11 1 ago 2011
Línea 111:		Línea 111:
	*[http://ucipedia.uci.cu/index.php/UTF-8 http://ucipedia.uci.cu/index.php/UTF-8]		*[http://ucipedia.uci.cu/index.php/UTF-8 http://ucipedia.uci.cu/index.php/UTF-8]

−	[[Category: ~~Software~~]]	+	[[Category:Estándares_de_computadoras]]

@@ Línea 78: / Línea 78: @@
 * Una secuencia de bytes para un carácter jamás será parte de una secuencia más larga de otro carácter como lo hacían viejas codificaciones como Shift-JIS.
 * El primer byte de una secuencia multi-byte es suficiente para determinar la longitud de una secuencia multi-byte-. Esto hace extremadamente simple extraer una subcadena de una cadena dada sin elaborar un análisis exhaustivo.
-* La mayor parte del software existente (incluido el [[sistema operativo]]) no fueron escritos con Unicode en mente, y usar Unicode con ellos podría crear algunos problemas de compatibilidad. Por ejemplo, la librería estándar del [[lenguaje de programación C]] marca el final de una cadena con el carácter de un único byte 0x00. En la codificación Unicode UTF-16 la letra A en inglés es codificada como 0x0041. La librería considerará el primer byte 0x00 como el fin de la cadena e ignorará el resto. UTF-8, sin embargo, está diseñado para que los bytes codificados nunca tomen alguno de los valores de los caracteres especiales de ASCII, previniendo estos problemas y otros similares.
+* La mayor parte del software existente (incluido el [[sistema operativo]]) no fueron escritos con Unicode en mente, y usar Unicode con ellos podría crear algunos problemas de compatibilidad. Por ejemplo, la librería estándar del [[Lenguaje de Programación C|lenguaje de programación C]] marca el final de una cadena con el carácter de un único byte 0x00. En la codificación Unicode UTF-16 la letra A en inglés es codificada como 0x0041. La librería considerará el primer byte 0x00 como el fin de la cadena e ignorará el resto. UTF-8, sin embargo, está diseñado para que los bytes codificados nunca tomen alguno de los valores de los caracteres especiales de ASCII, previniendo estos problemas y otros similares.
 * Las cadenas en UTF-8 pueden ser ordenadas usando rutinas de ordenamiento estándar orientadas a byte (sin embargo no habrá ninguna diferenciación entre las mayúsculas y las minúsculas con representaciones que exceden el valor 128).
 * UTF-8 es el valor predeterminado para el [[formato XML]].