いいえ。
「電子申告・納税等開始(変更等)届出書」を提出した場合でも、従来通り書面により
申告書等を提出することができます。
※国税e-TaxHPの関連Q&A
[問]
電子申告等開始届出書を提出した場合、必ずe-Taxを利用しなければなりませんか。
[答]
e-Taxは、書面による申告書等の持参又は送付による提出方法に加え、申告書等を電子
データの形式でインターネットを通じて送信するという、新たな提出方法の選択肢を利用
者等に提供するものであり、電子申告等開始届出書を提出した場合、必ずe-Taxを利用し
なければならないというものではありません。申告のみ、あるいは、納税のみというよう
に、手続の一部に限った利用も可能です。
(https://www.e-tax.nta.go.jp/toiawase/qa/yokuaru01/06.htm)