病院でもらった紹介状をキャンセルしたいのですが…

Ａ病院からＢ病院への紹介状をもらったのですが予約日がかなり先でした。
「最短でこの日付」と言われ、そのときは体調も安定していたので紹介状を出してもらったのですが、今また具合が悪くなってきています。
予約日まで待てないので自分で（待ち時間覚悟で初診扱いで）このＢ病院に行こうと思うのですが、そういう理由で紹介状をキャンセルすることはできるのでしょうか？
キャンセルはＡ病院に連絡？ 紹介状をＡ病院に返しに…