現在、Exploratoryが利用するメモリの最大容量を指定することはできませんが、Exploratoryがバックエンドで利用している「R」の最大メモリ容量を変更して、メモリへの負荷が高い処理を実行しやすくすことが可能です。
こちらの投稿では、そちらのやり方を紹介いたします。
Rの最大メモリの割り当てサイズを変更する
画像のように「スクリプト」の横の「+」ボタンをクリックして、新しいスクリプトを作成します。
「プロジェクトを開く際にこのスクリプトを読み込む」チェックボックスがオンになっていることを確認し、以下のコマンドを入力し、「実行」ボタンをクリックします。（こちらの例では、新しい最大メモリサイズとして32GBを設定します）
Sys.setenv('R_MAX_VSIZE'=32000000000)
なお、こちらの処理は、Exploratoryデスクトップを利用しているマシンスペックに依存することにご注意ください。
例えば、お使いのマシンに16GBまでしかメモリを割り当てられない場合、32GBを設定しても最大メモリサイズは16GBになります。