データの分布が正規分布でない場合の考え方について

教えて下さい。

Exploratoryを使用するに当たって、実際のデータ分布が正規分布に従わない場合に注意することはありますでしょうか?

信頼区間、回帰分析、検定を行う際に正規性検定を実行して解釈で対応するのか。対数へ変換するのか。