Может быть вы действительно что-то подписали, например предварительный договор, где указано, что деньги переданы от покупателя продавцу. Как вариант, в ПДКП может быть описано, что деньги переданы типа продавцу и полагаются продавцу в счет стоимости, но фактически их принял агент, и так же есть документ с подписью агента, подтверждающий, что эти деньги, полагающиеся для продавца, он принял, - тогда можете требовать деньги у агента, а получив - действовать в зависимости от условий ПДКП и их соблюдения.
Но, скорее всего, агент, получая деньги от покупателя, сообщал что эти деньги будут переданы продавцу, потому несостоявшийся покупатель решил что деньги остались у продавца; либо агент на требование вернуть деньги намеренно ввёл людей в заблуждение, сообщив что деньги были переданы собственнику. Тут вы можете сообщить покупателям, что деньги у них не принимали, пусть требуют с того, кто расписывался в получении.
Напишите этим людям ответное письмо с грамотными разъяснениями, или встретьтесь с ними на нейтральной территории в присутствии с вашей стороны юридически грамотной поддержки, что б разобраться в ситуации, избежать эскалации конфликта, понять правомерность претензий и т.д..