Question

Como uma função retorna um vetor em linguagem C? É com um ponteiro?

Answer 1

Sim, é com um ponteiro.
Ex:
<tipo da função> * <nome da função>

Depois será necessário usar a função calloc para alocar memória para o conteúdo vetor.
Exemplo de uma função cujo vetor aloca números inteiros:
int * vetor = (int *) calloc (variavel, sizeof (int));

Em seguida basta fazer os cálculos que você desejar na função e retornar o vetor que foi apontado na linha anterior (no exemplo acima foi a variável de nome "vetor")

Se você não conhece a função calloc (caractere allocation) pesquisa na internet por ela. No canal "De aluno pra aluno" do YouTube explica melhor sobre o assunto