Byte Pair Encoding (BPE): Datenkompressionsalgorithmus

Byte Pair Encoding (BPE) ist ein Datenkompressionsalgorithmus, der Textdateigröße reduziert, indem er iterativ die häufigsten angrenzenden Byte-Paare durch einzelne ungenutzte Bytes ersetzt.

Funktionsweise

1. Zählen Sie alle angrenzenden Byte-Paare in den Daten.
2. Ersetzen Sie das häufigste Paar mit einem neuen Byte, das nicht in den Daten vorkommt.
3. Wiederholen Sie dies, bis keine häufigen Paare mehr vorhanden sind oder das gewünschte Kompressionsniveau erreicht ist.

Ergebnis

Kann die Dateigröße um bis zu 50 % reduzieren. Weit verbreitet in moderner Tokenisierung für natürliche Sprachverarbeitung (z. B. GPT-Modelle) als Subwort-Segmentierungsmethode.