Den kvalificerade köparpoolen för bostäder har krympt enormt de senaste åren.