Era considerado como uno de los hombres más ilustrados y preparados de Sudamérica, y reunía tres facetas que lo convirtieron en hombre codiciado de la época: asesor, político e ideólogo. Nación en Asunción en 1848. Toda su familia, su padre, el Cnel. Juan Francisco; sus hermanos: Juan José, Adolfo y Héctor Francisco fueron opositores al régimen de los López y algunos de ellos integraron la Legión Paraguaya.
José Segundo estudió filosofía en Buenos Aires. Poseedor de una vasta cultura, hablaba fluidamente el francés, alemán y el inglés. Fue asesor y partícipe activo e influyente de la actividad cívica, social y política en la posguerra. Además de formar parte en diversos gobiernos como Ministro, escribió numerosos ensayos, artículos periodísticos, memorias, informes y fue uno de los redactores de la Constitución del 70.

En 1887, redactó los Estatutos y la Declaración de Principios del Partido Nacional Republicano (Asociación Nacional Republicana). Bernardino Caballero lo buscó y fue lo bastante hábil para valorar el inmenso aporte intelectual que podría ofrecer Decoud, por lo que lo mantuvo cercano a él.

En cuestiones políticas, fue víctima de los voraces caudillos políticos de la época, los que le imposibiltaron concretar algunos de sus proyectos, principalmente el de llegar al sillón presidencial.

En 1894 estuvo muy cerca, ya que en las negociaciones internas de la ANR llegó a acordarse su postulación entre las corrientes en pugna (caballeristas y egusquicista), pero finalmente dio un paso al costado, pues el general Juan B. Egusquiza exigió su nominación como candidato presidencial.

De esta manera, uno de los hombres más cultos del Paraguay, vio frustada su carrera a la Presidencia de la República.
Según algunos historiadores, se suicidó el 4 de marzo de 1909, luego de estar paralizado y depresivo por un año a causa de una larga enfermedad.