採用した社員が初めの１週間で３回遅刻をしてきました。この先が思いやられると思い採用取消したいのですが、問題ないでしょうか？

試用期間中の場合であって、雇入れから１４日以内の場合は、解雇予告や解雇予告手当なしで解雇することができます。
就業規則や雇用契約書において試用期間の定めがあり、雇入れから１週間しかたっていないのであれば解雇可能です。
なお、余計な争いを避けるため、試用期間から本採用しない場合の事由についても就業規則に細かく定めておくとよいでしょう。