Bis 1850 hatte Sundhausen nur einen Friedhof, das war ein echter Kirchhof, d.h. die Toten wurden rings um die Kirche beigesetzt. Die Karlsburg hatte zwei Grabgewölbe unter dem Kirchturm, und ein Pfarrer liegt vor dem Altar beerdigt.
Der Kirchhof, d.h. der Begräbnisplatz um die Kirche, wurde bis Ende 1850 mit neuen Gräbern belegt. Schon 1842 verhandelte man um einen neuen Friedhof.
Aber erst am 5.12.1850 wird auf dem ¾ Morgen großen Platz an der Schulstraße, die damals noch keine Straße war, sondern ein Feldweg zum gemeinschaftlichen Weideland, die erste Grabstelle für den Hintersassen Johann Gottfried Kaps hergerichtet. Man nannte den Weg in Richtung Bielen die Martins- oder Märtensgasse. Dieser Friedhof lag zwischen dem heutigen Schulgrundstück und dem kleinen Gehöft Nr. 10, also südlich des Karlsburger Wassergrabens. 1857 wird dieser Friedhof mit seinen Nutzungen und Verpflichtungen der Kirchengemeinde überwiesen. 1869 nimmt man bereits das letzte Viertel seiner Fläche in Angriff und untersagt deshalb dem Kantor (und Lehrer) Voigt die weitere Nutzung des noch unbelegten Stückes, 1874 wird dieser Friedhof durch angrenzendes Schulland, das die Kirche für 800 Taler den Morgen kauft, erweitert. Gegen Zahlung eines Drittels des Kaufgeldes erhält die Familie von Karlsburg einen Teil dieses neuen Stückes zur Errichtung eines Erbbegräbnisses. Zu dem Bau eines solchen kam es aber nicht. Dieser Friedhof wurde 1885 geschlossen. Zu erkennen an einigen Grabmalsresten war er noch bis 1956. Da wurde er zu Bebauungszwecken aufgeteilt und verkauft.
„Der alte Friedhof“ von Sundhausen lag an der Schulstraße gegenüber den bäuerlichen Gehöften Nr. 8 und 9 von August Heckerodt, heute Alfred Arnold, und Richard Meyer, wo heute der Doppelneubau von Gerhard Möhl und Werner Jödicke steht.
1885 erwarb die Gemeinde den ältesten Teil des jetzigen Friedhofs am Bielschen Wege vom Grundbesitzer Schreiber. Den neueren Teil, auf dem noch gegenwärtig, also 1960 beerdigt wird, erwarb die Kirchengemeinde, und 1938 wurde nochmals das nach Osten anschließende Feld hinzugekauft. Der Mittelweg wurde 1938 mit Pyramidenpappeln bepflanzt.
Der jetzige Friedhof an der Straße nach Bielen parallel der Uthleber Landstraße wurde am 18.4.1885 bei Beerdigung eines Kleinkindes des Bauern und Schöffen August Heckerodt feierlich eingeweiht. Er wurde bis heute bereits zweimal erweitert. Die erste Erweiterung ist nach langen Verhandlungen von der Gutsfirma Schreiber und Sohn Nordhausen der Kirchengemeinde Sundhausen unentgeltlich überwiesen worden, wofür ihr eine Verlängerung der Pfarräckerpachtzeit auf 24 Jahre zugestanden wurde.
Aber noch 1904 muß das Konsistorium in Stolberg den Gemeindekirchenrat anregen, für einen gepflasterten Weg zu diesem Friedhof zu sorgen. Gepflastert wurde er erst nach 1960 von der Stadt Nordhausen, die sich eine sehr gute Abfuhrstraße für ihren Kies in der Nähe der Bahn zulegte.
Vom Gemeindekirchenrat wurden feste Friedhofssatzungen aufgestellt. Demnach ist jede Denkmalsanlage vor ihrer Errichtung vom Kirchenrat besonders zu genehmigen. Heidnische Symbole werden nicht geduldet. Die Gräber haben vorgeschriebene Größe: Gräber für Kinder bis zu 5 Jahren 1,20 mal 0,60m, für ältere Tote 2,10 mal 0,90m; die fertigen Grabbeete sind 1,80 mal 0,75m groß. Für den überlebenden Gatten kann auf Antrag und Zahlung von 10 Mark eine zweite Grabstätte freigehalten werden. Erbbegräbnisse sind 16 qm groß und kosten 75 Mark Wird eine dritte Person darauf beerdigt, so sind dafür 25 Mark besonders zu zahlen. Urnen können nur mit Genehmigung des Kirchenrats aufgestellt werden. Gesangsaufführungen und Ansprachen sind vom Pfarrer zu genehmigen. Aufstellen von Kreuzen und Anbringen von Bibelstellen ist erwünscht. Kunststeinsockel unter Natursteingrabmale wird nicht gewünscht. Zementeinfassungen und bloßer Kunststein sind zu vermeiden. Porzellanarbeiten und Lichtbilder sind verboten.
1966 erfolgte auf dem ältesten Friedhofsteile vor dem Leichenhause die Anlage eines gesonderten Urnenfriedhofes, für den der Kirchenvorstand eine feste Ordnung aufgestellt hat. Die Beisetzung von Urnen auf Grabstellen ist seitdem untersagt.