Das Außenlager (AL) Trostberg wurde am süd-östlichen Stadtrand, hinter den Gebäuden der Firma "Süddeutsche Kalkstickstoffwerke" (SKW; heute AlzChem) errichtet.
Dies geschah nicht um das Außenlager vor der Bevölkerung zu verheimlichen, sondern aus ganz pragmatischen Gründen: Das Außenlager sollte vor allem Häftlinge für die nun teilweise in Trostberg untergebrachte Produktion von BMW-Flugzeugmotorenteilen bereitstellen. Zur Produktion wurde eine Halle der in Trostberg ansässigen Firma SKW genutzt. Das Außenlager wurde daher in möglichst geringer Entfernung zum Produktionsort gebaut. Die daraus resultierende kürzere Wegstrecke, die die Häftlinge zur Arbeitsstelle zurücklegen mussten, bedeutete für die SS gleichzeitig einen wesentlich reduzierten Bewachungsaufwand bei den Märschen zur Produktionshalle.
Das Außenlager wurde auf einem Flurstück erbaut, das heute die Nummer 2013 trägt, und dessen aktuelle Grenzen exakt dem damaligen Lagerareal entsprechen. Östlich und südlich des Lagers befand sich ein Wald, der ebenso wie das Lagergelände selbst zum Besitz der SKW gehörte. In der Nähe des Lagers befanden sich einige Häuser, die von Angestellten und Führungskräften der SKW bewohnt wurden, sowie der landwirtschaftliche Hof "Gut Götzing", der im Auftrag der SKW bewirtschaftet wurde. Die beinahe idyllische Lage des Außenlagers , die der ehemalige holländische Häftling Dingenius Linke mit den Worten "die Landschaft war typisch bayerisch, sehr schön mit Bergen und Tälern" beschreibt, stand in starkem Kontrast zur Lebenswirklichkeit der Häftlinge, die von der rücksichtslosen Ausbeutung ihrer Arbeitskraft, von Unterdrückung und Durchsetzung der nationalsozialistischer Ideologie und damit dem täglichen Kampf ums nackte Überleben geprägt war. Daher fügt Linke auch hinzu: "Wegen der Verhältnisse fand man es jedoch nicht so schön."
Trotz der Abgelegenheit war die Existenz des Lagers in der Stadt bekannt. Durch die exponierte Lage auf eine Anhöhe war das AL von vielen Punkten der Stadt aus gut sichtbar, dieser Effekt wurde durch die Wachtürme noch einmal verstärkt. Das Lager war damit ein Teil des Stadtbildes. Dabei spielte auch die Größe des Lagers in Relation zur Bevölkerungszahl der Stadt Trostberg eine Rolle. Die Stadt zählte 1944 etwa 4000 Einwohner. Das Außenlager, in das auf minimalem Raum zeitweise fast 1000 Häftlinge gepfercht waren, war also auch quantitativ ein nicht zu verleugnender Teil der Stadt.
Neben der Sichtbarkeit der Lagergebäude, nahmen die Stadtbewohner auch die Häftlinge selbst war. Viele TrostbergerInnen kamen mit den ausgemergelten Häftlingen in Kontakt. Auch wenn das Lagergelände selbst abgeriegelt war und es der Bevölkerung verboten war nah an das Areal heranzukommen, gab es viele Berührungspunkte zwischen Zivilbevölkerung und Häftlingen.