Question

qual e a forma mais simples de escrever essa expressão?

Answer 1

Você deve racionalizar os termos, ou seja, tirar as raízes dos denominadores. 
Para isso, vamos pegar cada termo e racionalizar, depois juntamos tudo.
1º:  √150/√3 . √3/√3 = √150.3/√9 = 15√2/3 = 5√2
2º: √40/√5 . √5/√5 = 10√2/5 = 2√2
3º: √27.8/√3 = 6√6/√3 . √3/√3 = 6√18/3 = 6√2
Agora, 5√2 + 2√2 - 6√2 = √2