Windows10のアップデートで、勝手にタスクバーにEdgeアイコンが表示されるようになった…という場合もあるようですが、タスクバーのEdge アイコンを使わないから、削除してしまいたい…との事です。
Edgeアイコンの上で右クリックし、ショートカットメニューから「タスクバーからピン留めを外す」を選択してください。
ただ、問題の右クリックが効かないという状況のようで、それ自体が少し?に思っています。単純な話で大変申し訳ないのですが、マウスの電池を交換してみるとか、マウスを再接続してみる、あるいは他のマウスで試してみる…などの作業はされましたでしょうか。基本、タスクバー上のアイコンの上では右クリックすると、上図のようなショートカットメニューが出るはずですので、マウスに不具合があるのだろうかと、気になります。
他の場所では右クリックも有効…と言うのであれば、スタートメニューから操作が可能かも知れません。
スタートボタンを押して、表示されるスタートメニューの中から「Microsoft Edge」を探して右クリックしてください。「その他」のメニューから更に「タスクバーからピン留めを外す」のコマンドが選べると思います。
尚、この場所であれば、もしもマウスの右クリックが効かなければ、Shift+F10のショートカットキーが有効かと思います。タスクバー上のアイコンでShift+F10を試してみましたが、残念ながら目的のショートカットメニューはキー操作では表示されませんでした。