Tokenizer.c

// Разбор строки на лексемы/токены
#include <stdio.h>

#define BUF 128

int is_delimiter(char c)
{
    return (c == ' ' || c == '\t');
}

int main()
{
    char string[] = "Help me 123456789", *c = string;
    char buf[BUF] = {0}, *b = buf;

    while (1) {
        if (!is_delimiter(*c) && *c != '\0')
            *(b++) = *c;
        else if (buf != b) {
            *b = '\0';
            printf("%s\n", buf);
            b = buf;
            *b = '\0';
        }
        if (*(c++) == '\0') break;
    }
    printf("\n");
    return 0;
}