'Signalen uit bouw gaan voorbij aan bewindsman'