CSSだけではできず、PHPだと面倒くさいですが、JavaScriptを利用すると、比較的簡単にできます。
子テーマのjavascript.jsに以下を貼り付けるといけるかと思います。
window.onload = function(){
var comments = document.getElementsByClassName('recentcomments');
for (let i = 0; i < comments.length; i++) {
var comment = comments[i];
var a = comment.getElementsByTagName('a')[0];
comment.innerHTML = a.outerHTML;
}
}();