En nybegyndervenlig guide til Unicode i Python

Jeg tilbragte engang et par frustrerende dage på arbejdet med at lære, hvordan man korrekt håndterede Unicode-strenge i Python. I løbet af de to dage spiste jeg en masse snacks - omtrent en pose guldfisk pr. En af disse fejl, der var stødt på, hvilket burde være alt for velkendt for dem, der programmerer med Python:

UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xf0 in position 0: ordinal not in range(128)

Mens jeg løste mit problem, lavede jeg en masse googling, hvilket pegede på et par uundværlige artikler. Men lige så store som de er, blev de alle skrevet uden hjælp fra et afgørende aspekt af kommunikation i nutidens tid.

Det vil sige: de blev alle skrevet uden hjælp fra emoji.

Så for at drage fordel af denne situation besluttede jeg at skrive min egen guide til forståelse af Unicode med masser af ansigter og ikoner gengivet undervejs? ✌ ?.

Før vi dykker ned i tekniske detaljer, lad os begynde med et sjovt spørgsmål. Hvad er din yndlingsemoji?

Min er ”ansigt med åben mund”, der ser sådan ud? - med en større advarsel. Hvad du ser afhænger faktisk af den platform, du bruger til at læse dette indlæg!

Set på min Mac ser emoji ud som en gul bowlingkugle. På min Samsung-tablet er øjnene sorte og cirkulære, forstærket af en hvid prik, der forråder en større dybde af følelser.

Kopier og indsæt emoji (?) I Twitter, så ser du noget helt andet. Kopier og indsæt det imidlertid på messenger.com, så ser du, hvorfor det er min favorit.

???? Hvorfor er de alle forskellige?

Bemærk: Fra 9. juli 2018: Messenger ser ud til at have opdateret deres emoji-ikoner, så ikonet øverst til højre gælder ikke længere. ?

Dette sjove lille mysterium er vores del af Unicodes verden, da emojis har været en del af Unicode-standarden siden 2010. Bortset fra at give os emoji, er Unicode vigtigt, fordi det er Internets foretrukne valg til den konsekvente "kodning, repræsentation og håndtering af tekst ”.

Unicode & kodning: En kort primer

Som med mange emner er den bedste måde at forstå Unicode på at kende sammenhængen omkring dets oprettelse - og til det kræves Joel Spolskys artikel læsning.

Kodepunkter

Da vi nu er kommet ind i Unicode-verdenen, skal vi først adskille emojis fra de vidunderligt udtryksfulde ikoner, de er, og knytte dem til noget meget mindre spændende. Så i stedet for at tænke på emojis med hensyn til de ting eller de følelser, de repræsenterer, vil vi i stedet tænke på hver emoji som et almindeligt tal. Dette nummer er kendt som et kodepunkt .

Kodepunkter er nøglekonceptet for Unicode, som var "designet til at understøtte verdensomspændende udveksling, behandling og visning af de skrevne tekster på de forskellige sprog ... i den moderne verden." Det gør det ved at knytte næsten alle udskrivbare tegn til et unikt kodepunkt. Sammen består disse tegn af Unicode- tegnsættet .

Kodepunkter skrives typisk i hexadecimal og forud for U+at betegne forbindelsen til Unicode, der repræsenterer tegn fra:

  • eksotiske sprog såsom telugu [ఋ | kodepunkt: U + 0C0B]
  • skakssymboler [♖ | kode punkt: U + 2656]
  • og selvfølgelig emojis [? | kodepunkt: U + 1F64C]

Glyffer er hvad du ser

Den aktuelle repræsentation på skærmen af ​​kodepunkter kaldes glyffer ((komplet kortlægningaf kodepunkter til tegn kaldes en skrifttype ) .

Som et eksempel , tage dette brev A, som er koden punkt U+0041i Unicode. Det “A”, du ser med dine øjne, er en tegn - det ser ud som det gør, fordi det gengives med Medium's skrifttype. Hvis du for eksempel ændrede skrifttypen til Times New Roman, ville kun glyf af "A" ændre sig - det underliggende kodepunkt ville ikke.

Glyffer er svaret på vores lille gengivelsesmysterium. Under emhætten peger alle variationer i ansigtet med emoji med åben mund til det samme kodepunkt U+1F62E, men glyphen, der repræsenterer det, varierer efter platform?.

Kodepunkter er abstraktioner

Fordi de ikke siger noget om, hvordan de gengives visuelt (der kræver en skrifttype og et tegn for at "bringe dem til liv"), siges kodepunkter at være en abstraktion.

Men ligesom kodepunkter er en abstraktion for slutbrugere, er de også abstraktioner for computere. Dette skyldes, at kodepunkter kræver en tegnkodning for at konvertere dem til den ene ting, som computere kan fortolke: bytes. Når de er konverteret til byte, kan kodepunkter gemmes i filer eller sendes via netværket til en anden computer? ➡️ ?.

UTF-8 er i øjeblikket verdens mest populære karakterkodning. UTF-8 bruger et sæt regler til at konvertere et kodepunkt til en unik rækkefølge på (1 til 4) bytes og omvendt. Kodepunkter siges at være kodet i en sekvens af bytes, og sekvenser af bytes dekodes til kodepunkter. Dette Stack Overflow-indlæg forklarer, hvordan UTF-8-kodningsalgoritmen fungerer.

Men selvom UTF-8 er den dominerende karakterkodning i verden, er det langt fra den eneste. For eksempel er UTF-16 en alternativ tegnkodning af Unicode-tegnsættet. Billedet nedenfor sammenligner UTF-8 og UTF-16 kodning af vores emoji?.

Problemer opstår, når en computer koder kodepunkter til bytes med en kodning, og en anden computer (eller en anden proces på den samme computer) afkoder disse bytes med en anden.

Heldigvis er UTF-8 allestedsnærværende nok til, at vi for det meste ikke behøver at bekymre os om uoverensstemmende karakterkodninger. Men når de forekommer, kræves der fortrolighed med de ovennævnte begreber for at frigøre dig fra rodet.

Kort resumé

  • Unicode er en samling af kodepunkter , som er almindelige tal, der typisk skrives i hexadecimal og præfikset med U+. Disse kodepunkter kortlægger stort set alle tegn, der kan udskrives fra de skrevne sprog rundt om i verden.
  • Glyffer er den fysiske manifestation af en karakter. Denne fyr ? er en glyf. En f ont er en kortlægning af kodepunkter til tegn.
  • For at sende dem på tværs af netværket eller gemme dem i en fil skal tegn og deres underliggende kodepunkter være kodet i bytes. En tegnkodning indeholder detaljerne om, hvordan et kodepunkt er indlejret i en række bytes.
  • UTF-8 is currently the world’s must popular character encoding. Given a code point, UTF-8 encodes it into a sequence of bytes. Given a sequence of bytes, UTF-8 decodes it into a code point.

A Practical Example

The correct rendering of Unicode characters involves traversing a chain, ranging from bytes to code points to glyphs.

Let’s now use a text editor to see a practical example of this chain — as well as the types of issues that can arise when things go awry. Text editors are perfect, because they involve all three parts of the rendering chain shown above.

Note: The following example was done on my MacOS using Sublime Text 3. And to give credit where credit is due: the beginning of this example is heavily inspired by this post from Philip Guo, which introduced me to the hexdump command (and a whole lot more).

We’ll start with a text file containing a single character — my favorite “face with open mouth” emoji. For those who want to follow along, I’ve hosted this file in a Github gist, which you get locally with curl.

curl //gist.githubusercontent.com/jzhang621/d7d9eb167f25084420049cb47510c971/raw/e35f9669785d83db864f9d6b21faf03d9e51608d/emoji.txt > emoji.txt

As we learned, in order for it be saved to a file, the emoji was encoded into bytes using a character encoding. This particular file was encoded using UTF-8, and we can use the hexdump command to examine the actual byte contents of the file.

j|encoding: hexdump emoji.txt0000000 f0 9f 98 ae 0000004

The output of hexdump tells us the file contains 4 bytes total, each of which is written in hexadecimal. The actual byte sequence f0 9f 98 ae matches the expected UTF-8 encoded byte sequence, as shown below.

Now, let’s open our file in Sublime Text, where we should see our single ? character. Since we see the expected glyph, we can assume Sublime Text used the correct character encoding to decode those bytes into code points. Let’s confirm by opening up the console View -> Show Console, and inspecting the view object that Sublime Text exposes as part of its Python API.

>>> view
# returns the encoding currently associated with the file>>> view.encoding()'UTF-8'

With a bit of Python knowledge, we can also find the Unicode code point associated with our emoji:

# Returns the character at the given position>>> view.substr(0)'?' 
# ord returns an integer representing the Unicode code point of the character (docs)>>> ord(view.substr(0))128558
# convert code point to hexadecimal, and format with U+>>> print('U+%x' % ord(view.substr(0)))U+1f62e

Again, just as we expected. This illustrates a full traversal of the Unicode rendering chain, which involved:

  • reading the file as a sequence of UTF-8 encoded bytes.
  • decoding the bytes into a Unicode code point.
  • rendering the glyph associated with the code point.

So far, so good ?.

Different Bytes, Same Emoji

Aside from being my favorite text editor, I chose Sublime Text for this example because it allows for easy experimentation with character encodings.

We can now save the file using a different character encoding. To do so, click File -> Save with Encoding -> UTF-16 BE. (Very briefly, UTF-16 is an alternative character encoding of the Unicode character set. Instead of encoding the most common characters using one byte, like UTF-8, UTF-16 encodes every point from 1–65536 using two bytes. Code points greater than 65536, like our emoji, are encoded using surrogate pairs. The BE stands for Big Endian).

When we use hexdump to inspect the file again, we see that byte contents have changed.

# (before: UTF-8)j|encoding: hexdump emoji.txt0000000 f0 9f 98 ae 0000004
# (after: UTF-16 BE)j|encoding: hexdump emoji.txt0000000 d8 3d de 2e0000004

Back in Sublime Text, we still see the same ? character staring at us. Saving the file with a different character encoding might have changed the actual contents of the file, but it also updated Sublime Text’s internal representation of how to interpret those bytes. We can confirm by firing up the console again.

>>> view.encoding()'UTF-16 BE'

From here on up, everything else is the same.

>>> view.substr(0)'?' 
>>> ord(view.substr(0))128558
>>> print('U+%x' % ord(view.substr(0)))U+1f62e

The bytes may have changed, but the code point did not — and the emoji remains the same.

Same Bytes, But What The đŸ˜®

Time for some encoding “fun”. First, let’s re-encode our file using UTF-8, because it makes for a better example.

Let’s now go ahead use Sublime Text to re-open an existing file using a different character encoding. Under File -> Reopen with Encoding, click Vietnamese (Windows 1258), which turns our emoji character into the following four nonsensical characters: đŸ˜®.

When we click “Reopen with Encoding”, we aren’t changing the actual byte contents of the file, but rather, the way Sublime Text interprets those bytes. Hexdump confirms the bytes are the same:

j|encoding: hexdump emoji.txt0000000 f0 9f 98 ae0000004

To understand why we see these nonsensical characters, we need to consult the Windows-1258 code page, which is a mapping of bytes to a Vietnamese language character set. (Think of a code page as the table produced by a character encoding). As this code page contains a character set with less than 255 characters, each character’s code points can be expressed as a decimal number between 0 and 255, which in turn can all be encoded using 1 byte.

Because our single ? emoji requires 4 bytes to encode using UTF-8, we now see 4 characters when we interpret the file with the Windows-1258 encoding.

A wrong choice of character encoding has a direct impact on what we can see and comprehend by garbling characters into an incomprehensible mess.

Now, onto the “fun” part, which I include to add some color to Unicode and why it exists. Before Unicode, there were many different code pages such as Windows-1258 in existence, each with a different way of mapping 1 byte’s worth of data into 255 characters. Unicode was created in order to incorporate all the different characters of the all the different code pages into one system. In other words, Unicode is a superset of Windows-1258, and each character in the Windows-1258 code page has a Unicode counterpart.

In fact, these Unicode counterparts are what allows Sublime Text to convert between different character encodings with a click of a button. Internally, Sublime Text still represents each of our “Windows-1258 decoded” characters as a Unicode code point, as we see below when we fire up the console:

>>> view.encoding()'Vietnamese (Windows 1258)'
# Python 3 strings are "immutable sequences of Unicode code points">>> type(view.substr(0))
>>> view.substr(0)'đ'>>> view.substr(1)'Ÿ'>>> view.substr(2)'˜'>>> view.substr(3)'®'
>>> ['U+%04x' % ord(view.substr(x)) for x in range(0, 4)]['U+0111', 'U+0178', 'U+02dc', 'U+00ae']

This means that we can re-save our 4 nonsensical characters using UTF-8. I’ll leave this one up to you — if you do so, and can correctly predict the resulting hexdump of the file, then you’ve successfully understood the key concepts behind Unicode, code points, and character encodings. (Use this UTF-8 code page. Answer can be found at the very end of this article. ).

Wrapping up

Working effectively with Unicode involves always knowing what level of the rendering chain you are operating on. It means always asking yourself: what do I have? Under the hood, glyphs are nothing but code points. If you are working with code points, know that those code points must be encoded into bytes with a character encoding. If you have a sequence of bytes representing text, know that those bytes are meaningless without knowing the character encoding that was used create those bytes.

As with any computer science topic, the best way to learn about Unicode is to experiment. Enter characters, play with character encodings, and make predictions that you verify using hexdump. While I hope this article explains everything you need to know about Unicode, I will be more than happy if it merely sets you up to run your own experiments.

Tak for læsningen! ?

Svar:

j|encoding: $ hexdump emoji.txt0000000 c4 91 c5 b8 cb 9c c2 ae0000008