Etter å ha blitt utdannet i faget hos boktrykker Grøndahl i Christiania opprettet han et boktrykkeri i Stavanger og drev forlagsforretning.

På hans forlag utkom en mengde religiøs litteratur, såsom en flerhet av Luthers skrifter, huspostiller, salmebøker og lærebøker i religion, samt misjonsskrifter.

Han begynte 4. oktober 1833 å utgi "Stavanger Amtstidende". Den utkom i begynnelsen kun en gang i uken, og fra 1842, da bladet hadde fått navnet "Stavanger Amtstidende og Adresseavis", to ganger ukentlig. Senere ble det dagblad. Det ble stedse redigert i konservativ retning.

Boktrykker Kielland bodde på eiendommen "Bergene" i Stavanger. Eiendommen var ved testamente 1. august 1822 kommet i hans svigerfar Morten Henrik Kiellands besittelse, i hvis hustrus slekt den hadde vært siden 1745.

Ved skifte etter ham 1834 ble "Bergene" utlagt til hans fire barn, hvorav de tre i 1847 solgte sine andeler til svogeren L.C. Kielland. Eiendommen er fremdeles i etterslektens besittelse, men er for den største del oppstykket til byggetomter som er frasolgt.

Som følge av boktrykker Kiellands sykdom oppholdt han og hans andre hustru seg to ganger lengere tid i syden.