ggplot2 では、プロットに色付けをすると、自動的にレジェンド(凡例)も表示されます。これが不要な場合、非表示にするにはテーマ theme() 関数で変更を行います。 legend.position に “none” を指定すると非表示にできます。
theme(legend.position = "none")
gg <- g + geom_boxplot() + scale_fill_brewer(palette = "Spectral")
gg + theme(legend.position = "none")

テーマで変更できる項目は下記にあります。
Modify components of a theme
https://ggplot2.tidyverse.org/reference/theme.html