To nie błąd ani usterka, lecz zamierzone uproszczenie kodu leksera.
Myślę, że lekser i parser z prawdziwego zdarzenia wylądują w kodzie projektu dopiero w następnym roku. Pewnie napiszę je przy okazji prowadzenia przedmiotu "Konstrukcja kompilatorów".