原因
一つの可能性は、Rserveプロセスが、Rセッションの初期化の途中でクラッシュしてしまっているということです。 例えば以下のようなRコマンドがログファイルの最後に残っている場合は、この問題の可能性が高いです。
R< try({Sys.setlocale(category=\"LC_CTYPE\", locale=\"English_United States.932\"); stringi::stri_enc_set(\"windows-932\")})
解決方法
Rパッケージを初期状態にもどすことをお試しください。手順はこちらのノートをご覧ください。