Le groupe sort un premier EP intitulé Bullet for My Valentine chez Visible Noise le 15 novembre 2004 en Grande-Bretagne, et le 30 novembre 2004 aux États-Unis chez Truskill Records.

En octobre 2005 sort leur vrai premier album The Poison qui les fait connaître à travers le monde entier, particulièrement grâce à des hits comme Suffocating Under Words Of Sorrow (What Can I Do) dont le clip a été tourné dans les grottes de Postojna en Slovénie, All These Things I Hate (Revolve Around Me) qui les propulse en haut des charts en Grande Bretagne et aux États-Unis. Le nom de l'album leur est venu à l'esprit lorsque qu'ils ont réalisé que leur style se propagerait partout tel un poison auquel il serait difficile d'y remédier. Quelque temps après, au mois de mai-juin 2006, sort leur nouveau single Tears Don't Fall qui, une fois de plus est un véritable carton partout dans le monde. Cet album fut réédité avec quatre titres bonus et cinq vidéos.