Question

Por que chamamos as letras de vogais e semi-vogais

Answer 1

Porque são distintas.
Veja:
VOGAIS, são fonemas que fazem vibrar as cordas vocais, em cuja produção a corrente de ar vinda dos pulmões não encontra obstáculos. São silabicos, isto é, sempre constituem a base da sílaba, já que não existe sílaba sem vogal. De acordo com a variação fonética, são doze:
/a/ /ã/ ë/ /é/ /ê/ i/ /ï /ô/ õ/ /o / u/ ü/

SEMIVOGAIS, são as letras i e u, quando formam sílabas apoiadas numa vogal. As letras E e O também representam semivogais.

Fonte: Gramática Completa para Concursos e Vestibulares, de Nilson Teixeira de Almeida; Saraiva, 2012