Tienes que ver la parte positiva; los 1 no son tales, sino que se suman a una base. Es decir, si tu PJ es Bárbaro (por ejemplo, que no lo sé) esos 1 en realidad serían 7, porque tirarías 1d6+6 de Dado de Golpe., Sumado a los 12 de nivel 1, y a un bono de CON de pongamos +2, te dejaría aún con 32pg a nivel 3, que no está nada mal.
Además hay Dotes para mejorar eso, una que te da 5pg directamente (sólo elegible a nivel 1) y otra que te da 1pg por cada nivel de Personaje que tengas, si quieres mejorar ese asunto y el DM te da el visto bueno.