Il publie ses premiers dessins dans un journal dès l'âge de 14 ans, avant de suivre des études d'art. Après la seconde guerre mondiale, il commence une carrière de dessinateur qui est exceptionnelle par sa durée puisqu'elle s'étend de 1948 à 2011 et lui a permis de travailler pour les plus importantes maisons d'édition de comics : EC Comics, DC Comics, Marvel Comics, Dark Horse, etc. Il a, pour EC Comics, participé aux premiers numéros de Mad, dirigé alors par son ami Harvey Kurtzman. Il a de plus participé au magazine humoristique Cracked auquel il est resté attaché du premier numéro publié en 1958 jusqu'à son départ en 1999.
En plus du dessin, il lui arrive aussi, selon les périodes, de s'occuper de l'encrage, du scénario ou d'être rédacteur en chef de comics. Il touche à tous les genres selon les demandes des éditeurs mais il est plus à l'aise avec des récits réalistes et historiques. Lorsqu'il est chez EC, il évite de dessiner les récits d'horreur qui font pourtant la renommée de l'éditeur et chez Marvel, les comics de super-héros ne l'attirent pas, aussi lui est-il confié des séries telles que Hulk ou Namor qui mettent en avant des anti-héros.
Parmi les dernières œuvres qu'il a dessiné on trouve la mini série controversée Rawhide Kid, publiée par Marvel, qui fait du héros, existant depuis les années 1950, un homosexuel. Ce western permet à John Severin de retrouver un personnage qu'il avait dessiné dans les années 1950, et ce dans le genre historique qu'il affectionne. En effet, ce qu'il préfère ce sont des récits historiques pour lesquels il est très attentif à la véracité des objets. D'ailleurs ce souci du détail et la maîtrise de son style classique lui a valu la reconnaissance de ses pairs, à l'instar de Jack Kirby ou Harvey Kurtzman, et celle des critiques signalée par les prix qui lui ont été décernés.
