Tokeny

Podstawowe jednostki tekstu, na które modele AI dzielą wszystkie słowa i znaki. Token to nie zawsze całe słowo - może to być część słowa, pojedynczy znak lub nawet spacja. Na przykład słowo 'niesamowity' może zostać podzielone na tokeny: 'nie-sam-ow-ity'. Kontekst modeli AI jest mierzony w tokenach, a koszty API często liczone są za tokeny. Rozumienie tokenów pomaga optymalizować prompty i kontrolować koszty.