Der Terror und die Willkür, denen die Häftlinge im AL Trostberg ausgesetzt waren, bedeutete nicht nur extreme psychische, sondern vor allem auch physische Belastungen. Hunger, Kälte, Erschöpfung, kaum existente medizinische Betreuung, schlechte hygenische Bedingungen, Misshandlungen und Krankheiten bedeuteten für viele Häftlinge eine Auszehrung, die oft zum Tod führte. Auch wenn für das AL Trostberg keine Hinweise zu Morden an Häftlingen durch Erhängen oder Erschiessen existieren, wurde der Tod von Häftlingen durch die im Lager herrschenden Bedingungen mittelbar herbeigeführt.
"Die Häftlinge haben in der Fabrik gearbeitet und dabei gehungert, so dass Krankheiten ausgebrochen sind, die anders nicht aufgetreten wären, und wenn, dann nur in relativ milder Form. Die Häftlinge haben furchtbar an diesen Krankheiten, deren Ursache unangemessene und zu wenig Ernährung war, gelitten.
Sie begannen zu sterben."
Miroslav Križnar, slowenischer Häftling des AL Trostberg
7 Häftlinge des AL Trostberg starben während ihrer Haft in Trostberg. Dabei handelt es sich jedoch nur um jene Häftlinge , die direkt im Außenlager Trostberg umkamen. Tatsächlich ist die Zahl der Häftlingen, die an den Folgen der Haft im AL Trostberg starben höher. Dies beruht vor allem auf zwei Fakten:
Zum einen sind Häftlinge, die nach der Befreiung des Lagers infolge ihrer Schwächung starben, nicht in die Zahl der 7 Todesopfer eingerechnet. Bekannt ist hier der Tod des sowjetischen Häftlings Iwan Kusmenko. Kusmenko, der am 15.August 1920 in der heutigen Ukraine geboren wurde, starb am 4. Juni 1945, genau ein Monat nach seiner Befreiung aus dem AL Trostberg an den Folgen der KZ-Haft im Kreiskrankenhaus Trostberg.
Zum anderen wurden Häftlinge, die sich im AL Trostberg mit schweren Krankheiten wie TBC oder Fleckfieber infizierten, in das Stammlager Dachau überstellt. Oft starben die Häftlinge dort, da ihnen praktisch keine medizinische Hilfe zuteil wurde. Zwischen November 1944 und März 1945 wurden mindestens 118 Häftlinge wegen Krankheit vom AL Trostberg ins KZ Dachau gebracht. Ihr weiteres Schicksal ist ungewiss.
Verstarb ein Häftling im AL Trostberg, musste dieser von anderen Häftlingen in den Stadtteil "Pechlerau" gebracht werden. Dazu trugen vier Häftlinge zwei lange Stangen, zwischen denen sich eine Zeltplane befand, in die die Leiche gelegt wurde. Obwohl die Häftlinge, die den Leichnam trugen so nah zusammen gingen, dass die Zeltplane eine Tasche bildete und der tote Häftlinge nicht zu sehen war, wussten die Bewohner der Stadt Trostberg, die den Transport beobachten konnten, was sich unter der Plane verbarg. Da sich der Stadtteil "Pechlerau" im Norden der Stadt, etwa 2 Kilometer vom Außenlager entfernt befand, führte der Weg des Zuges auch durch Teile der (Alt)stadt. Um Fluchtversuche zu verunmöglichen, wurde der Leichentransport von SS-Wachmännern begleitet. Die toten Häftlinge wurden außerhalb des Friedhofs begraben. Es handelte sich dabei vermutlich um ein Stelle im Auenwald in der Pechlerau, links der Alz.
Im Juli 1945 wurden die Leichname der Häftlinge auf Geheiß amerikanischer Soldaten von ehemaligen Trostberger NSDAP-Mitgliedern exhumiert und in ein Massengrab im Innern des Friedhofs umgebettet. Heute finden sich keine sterblichen Überreste der Häftlinge in Trostberg. Ab November 1945 wurden die Gebeine sukzessive in die Heimat der Häftlinge oder auf den Friedhof der KZ Gedenkstätte Flossenbürg überführt.