タイトルのとおりですが、
特に多いのがエンジンかけたての時です。
アクセルを踏むと変速は4～5まで上がるのですが
スピードが40キロ以上はいきません。
そのスピードと騒音で一定の距離を
走りきると力が抜けたみたいにスピードが
40キロ以上出るようになります。（変速も2～3くらいになります。）
このまま走り続けてても大丈夫なのでしょうか？
ディーラーにはオイル交換をススメられましたが
本当に原因はオイル交換だけでしょうか？

最初にスズキのパレットSWに搭載されているオートマチックミッションについてご説明したいと思います。
ご存知かもしれませんがスズキのパレットには「副変速機付CVT」が初めて搭載されたモデルになります。（一部のグレードで4速ATの設定はあります。）
この「副変速機付CVT」は、簡単にご説明しますと従来の「CVTミッション」（無断変速機）に前進2段の切り替え機能と前後進切替機能をもった「副変速機」がついたCVTです。
これはCVTにローとハイの2段の副変速機を組み合わせることで変速比の幅をさらに拡大し、低速域での力強さと高速走行時の燃費性能を両立させようというものです。
この副変速付CVTは、基本的には発進時には前進ローギヤで作動し、速度が上がると前進ハイギヤに自動変速されます。

症状発生時の状態をよく確認しなければなりませんが、アクセルを踏みこみスピードが40kmくらいまで伸びた後、タイムラグがあり、その後はスムースに走行するのであれば、副変速機が作動しローギヤからハイギヤに切り替わった状態と考えられます。
副変速機がローギヤからハイギヤへの切り替えのときはタイムラグや軽いショックなど若干の違和感みたいなのものがあるようです。エンジン始動したばかりの時はCVTオイルの油温も低いため症状も顕著に表れている可能性もあります。
ただあまりにスピードが伸びずにエンジン回転数だけ必要以上に上昇したり副変速機のローギヤからハイギヤの切り替えのタイミングがあまりに遅いのならば、CVT自体に不具合がある可能性もあります。

またCVTを含めオートマチックミッションはオイルの油圧を利用しミッション各部を制御してる部分があります。CVT（AT）オイルは非常に精密で細かく複雑な迷路のような油路を流れAT各部の油圧制御を行います。
このオイルが流れる油路に詰まりなど発生した場合、変速不良や変速ショックなどの様々な不具合の原因になる恐れがあります。
診断したディーラーさんがオイル交換をおすすめしたのは、まずCVTオイルを交換して症状が改善するのか、変化するのか確認の意味合いもあったからではないでしょうか。
CVT内部の不具合の場合はCVT交換など高額な修理費用になる恐れがあります。センサーやソレノイドバルブなど電気系の不具合がないようであればCVTオイルを交換して様子をみてはいかがでしょう。