В прошлом квартале мы сделали три платежа, их вернули новым квартолом. Что делать в таком случае со счет фактурой?

Вы взяли у поставщика счет-фактуру на аванс? И учли ее в книге покупок прошлого квартала? Так?

Да, мы учли ее как аванс за номером, но мне теперь надо как-то это в физическом виде оформить и подписать. Не знаю как?

Никогда не брала к вычету с авкнсов, перечисленным поставщикам, но предполагаю, что у вас 2 пути:
1. Расьоргнуть договор тек.кварталом,ндс восстанлвить текущим кварталом и отразить в книге продаж
2. Считать договор не заключенным, деньги перечисленные авансом ошибочными. Ндс поинятый к вычету в прошлом квпртале мчитать неправомеоным. Сделать доп.лмст к книге покупок прлшлого каартала, доплаить ндс и пени и потом подать уточненку за прошлый квартал.