ふと、ひらめきました。

「『耳をそろえて払う』の『耳』は『紙幣の耳』。つまり『端』。『パンの耳』と同じではないか？」

と。普通「耳」と聞くと、

「音を聞く器官」

のイメージが強いですよね。

「壁に耳あり、障子に目あり」

のイメージです。それで考えると、

「耳をそろえて、返してもらおう」

の意味が、わからなくなってしまいます。

『精選版日本国語大辞典』で「耳」を引くと、３番目に、

「物の端や隅」

と載っているではありませんかビンゴ！！

さらに、その中に詳しく「３つの意味」が載っていて、

• 豆腐・パンなど、四角い形のふち。また、その堅い部分。
• 織物・紙・本など、平たいもののふち。
• 大判・小判のふち、転じて、その枚数。

とありました。「パン」だけでなく「豆腐」にも「耳」があるのか！（「堅い部分」は「硬い部分」じゃないのかな？）

「耳をそろえて返して」の「耳」は、まずは（３）の「大判・小判」という「通貨」の可能性があり、また「紙幣」という「紙」という素材に注目すると（２）なのかもしれません。

いずれにせよ、私の「ひらめき」は正しかったようです！