>>333ですがほとんど解決しました
ろ紙を使うのは賛否あるみたいですので最終手段にしようと準備していましたが、
その前に色々調べたところ微粉を茶こしなどでこすのがいいとあったので、
買ってきて濾してみましたら大分ましになり、ほとんど気にするほどのザラザラはなくなっていました。
また、火が強すぎという可能性もありましたが、本日強火でやってしまい、目を離したスキにコーヒーが
真横に飛び出て量が減ってしまいましたが、それは原因ではありませんでした。
どうやらお試しで買った色々豆セットも濾せば良くなりそうです。
色々ありがとうございました。