調べる割には、ピンポイントで「ここ」というところを探し当てるのに相当苦労しました。
駄目ですねぇ、もっと勉強しないと・・・
Apacheのhttpd.confを何回となく見ていると、見つけました！
VirtualHostの設定があるんですが、そこに

HostNameLookups on

と書いてました、HostNameと一致するドメインへのアクセスとバーチャルとで遅延時間が極端に違うので、なんでだろうと感じていたんです。
ここのところを「off」にすると、劇的に速くなりました。
意味的にはサーバー内部での逆引きをしないよう（？）に、ということなのかな？
まぁ、Webについては一件落着なんですが・・・・もうひとつ、思うように動作しないのが・・・

最近はメールの送信時、プロバイダーがポート25を利用しないOP25B（アウトバウンドポート２５ブロッキング）のシステムを導入するところが増えて、外部からメールの送信時に25番ポートを使用するメールサーバは送信ができなくなっています。

そんな事情で、当サーバもOP25B対策を実施しました。まずはSMTP Authなのですが、SASLのインストール等なんら問題なくインストール出来たようだったので、テスト(telnetからメールポートへアクセスしEHLOを送信）してみると何故かSASLが動作しません。
相当時間を費やしましたが、結局変化なし。何度確認しても手順は間違ってないはずなんだけどなぁ〜。 よっていまだにSMTP Authを実現できずにいます。（トホホ）