Um einen Tag in GIT zu löschen:

git tag -d 12345
git push origin :refs/tags/12345

(12345 ist in diesem Beispiel der Name des Tags)