Am 19. März 1970 wurden in fünf Zimmern des alten Schulgebäudes von 1925 Schäden in der Decke festgestellt. Sofort wurden Sachverständige eingeschaltet, die herausfanden, dass alle Decken im Schulhaus schadhaft seien. Dies war eine indirekte Folge der Kriegsereignisse. Man nimmt an, dass durch das Bombardenment von Neckarsulm durch die Erschütterungen feine Risse entstanden sind, die sich langsam weiter ausbreiteten.

Die Schule wurde daraufhin für den Schulbetrieb gesperrt und musste wenige Wochen später abgerissen werden. Der Abbruch der Schule begann am 24. September 1970. 45  Jahre Unterricht in schwersten Zeiten hat das Gebäude erlebt.  

Der Unterricht der Schülerinnen und Schüler wurde unter anderem in Notausweichquartieren wie der Neckarschule oder der Bleichschule abgehalten. An der Stelle des tradionsreichen Altbaus entstand ein neues Gebäude, der heutige Grundschultrakt. Nicht betroffen vom Abriss war der neue Hauptschultrakt, der am 04.Juni 1970 vom damaligen Oberbürgermeister Dr. Klotz an den damaligen Schulleiter, Herr Bölkow, übergeben wurde. Der von dem Neckarsulmer Architekt Heinrich Vogt geplante Bau hat  2,03 Millionen DM gekostet und ist im Prinzip heute noch so erhalten.

Der nun neu geschaffene Grundschulbau kostete 2,54 Millionen DM und wurde von der Neckarsulmer Bauunternehmung Keitel in Rekordzeit erstellt.

Die JHS hat sich vor vier Jahren ein neues Logo gegeben. Es wurde von einer renommierten Werbeagentur (cocos) entwickelt und soll Tradition und Fortschritt symbolisieren. Die Buchstabenkombination war eine Idee einer ehemaligen Lehrerin (Frau Deyle), die den Schriftzug "erfunden" hat. Cocos hat daraus unser Logo gemacht. Es taucht an vielen Stellen der Schule auf, an Hauswänden, an den Klassenzimmertüren, auf T-shirts und auf Kaffeetassen und es soll symbolisieren: Wir sind stolz auf unsere Johannes- Häußler- Schule!