Placa mãe on-board é aquela que traz as placas de vídeo, rede e som embutidas. Já as off-board são exatamente o contrário e trazem estas e outras placas fora da placa mãe.

Geralmente as placas on-board são feitas para baratear o preço do computador e apesar dos componentes de marcas conhecidas, a qualidade é baixa em relação a uma configuração off-board. São feitas para execução do básico. Por exemplo, se você gosta de jogar e comprar um PC com placa de vídeo on-board, você não poderá jogar muitos jogos (são poucos compatíveis) e mesmo assim a qualidade gráfica é pessima e ainda deixa o PC lento por usar recursos da memória principal.

Continuando o exemplo, comprando uma placa de vídeo off-board, o desempenho do PC melhorará pois a parte da memória usada pela placa de video on-board voltará a ser usada só pro sistema, e o processamento dos gráfico ficará a cargo da placa mãe off-board que agora fará todo o trabalho pesado. De quebra, os jogos ganharão gráfico bem melhores e terá compatibilidade com quase todos os jogos disponiveis.

Basicamente, é melhor um PC off-board do que um on-board por vários motivos, incluindo ai a vida util do PC que será maior, já que tudo não ficará concentrado na placa mãe. O desempenho do PC também se elevará a um nível muito confortável.

Porém este melhoramento pesará no bolso, já que você irá comprar equipamentos a parte e de maior qualidade. O custo-beneficio é excelente, porém nem todos tem grana para um upgrade ou uma compra desta gravidade.

Então podemos dizer que:

on-board = "na placa" ou embutido.
off-board = "fora da placa" ou à parte.

Estas não são as traduções fieis das palavras, mas fazem sentido, já que:

placa é board
on é sobre (sobre a placa, na placa)
off é fora (fora da placa)

e placa nesse caso é a placa mãe.