Bem, só vou falar do primeiro ano =)
Sou aluno de arquitectura, estive em artes visuais, tive história, não tive matemática no secundário (Artes Visuais), e nunca tive explicações. Tive no primeiro semestre matemática e sim foi complicado e nunca fui um bom aluno a matemática, raramente tinha positiva no ciclo. Mas acabei por ter uma classificação, apesar de baixa, parecida, e no caso de alguns até mais alta, com alguns que vieram de Ciências e tiveram matemática A e B, e no entanto consegui fazer a cadeira. A experiência no secundário é bastante importante sim, mas não determina a nota que irás ter. Só terás um pouco mais de trabalho em relembrar algumas coisas e estudar, mas eles também terão dificuldades noutros campos.
Problemas nas matemáticas, todos têm.
Mas uma coisa é verdade, o ensino ficou a perder quando decidiram colocar história e matemática como opções.
Já tive na mesma situação que tu, a tua questão faz-me lembrar quando cheguei ao 12º ano e deparei-me com esse problema.
Se sabes o que é arquitectura e se é isso mesmo que queres, força =)