Označavanje stihova u procesu obuke AI modela za stvaranje poezije pomoću TensorFlow i NLP tehnika ima nekoliko važnih svrha. Tokenizacija je temeljni korak u obradi prirodnog jezika (NLP) koji uključuje rastavljanje teksta na manje jedinice koje se nazivaju tokeni. U kontekstu stihova, tokenizacija uključuje razdvajanje stihova