"Alt属性をキャプション表示"機能を有効にすると表示が崩れる場合がある

この機能を有効にすると、画像の前後にタグが追加され
<a href=～><img ～></a>
もともとこうだったのが
<div class="hover-image hover-image-admin"><a href=～><img ～><div class="details"><span class="info">Alt説明文</span></div></a></div>
こうなるようです。

この時、画像が1枚だけドンとある状態であれば問題はないのですが、1行、同じpタグの中に複数の画像を使っている場合、pの中にdivを入れてはいけないというhtmlの制約から、ワードプレスがおせっかいを焼いて<div class="hover-image hover-image-admin">の前で自動的にpを終わらせてしまい、段落が違うということで画像の前の文章との間で改行したかのような見た目になりデザインが崩れます。

例えば本来こうなるべきところ

この機能を有効にしているとこうなってしまいます(ログインして見た場合のみ)

Altのホバー表示自体は大変便利な機能でありがたいのですが、レイアウトが崩れる可能性があるとなるとオフにするしかありません。
何か使い続けられかつレイアウトが崩れないようにする方法はないものでしょうか？

普段は便利な機能なので、pタグの自動挿入自体を止めるとそれはそれで不便になってしまい避けたいです。