Selon la plupart des spécialistes, les groupes haineux ont en commun de se représenter certains groupes de personnes comme étant « les Autres ».

Ainsi, le site américain Tolerance.org soutient que « tous les groupes haineux ont des croyances ou des pratiques qui attaquent ou calomnient toute une catégorie de personnes, habituellement sur la base de caractéristiques immuables. »

De son côté, Raymond A. Franklin, auteur de The Hate Directory, s’intéresse surtout aux groupes qui soutiennent « la violence, la mise à l’écart, la diffamation, la tromperie ou l’hostilité envers les autres, en se fondant sur leur race, leur religion, leur origine ethnique, leur sexe ou leur orientation sexuelle ».

Karim Karim, chercheur canadien en communications de l’Université de Carleton, souligne, par ailleurs, que « l’Autre » est l’un des nombreux archétypes communs à toute société humaine. Lorsque des gens transfèrent leurs craintes et leur colère sur l’Autre, le groupe visé devient moins qu’humain dans leur esprit. Les groupes haineux ne peuvent « justifier » les actes de violence ou de dégradation envers certains groupes que parce qu’ils nient l’humanité de leurs victimes.