Visual City

På den stora 3D-printade stadsmodellen i Visual City kan du som besökare lära dig mer om Norrköpings historia och utforska dagens och framtidens möjligheter och utmaningar när det kommer till allt från regnmängder till beredskapsfrågor.

I installationen kan du också lära dig mer om hur vi har använt AI för att träna en modell att identifiera olika typer av objekt i staden. Här kan du läs mer om hur det funkar!

Hur lär sig AI hur en stad ser ut? Vad är ett hus och vad är ett träd?

I den stora stadsmodellen visas hur Simstads AI modell successivt lär sig att identifiera olika typer av objekt – även kallat klasser. För att AI-modellen skall lära sig att känna igen en specifik klass behövs träningsdata, ofta i stora mängder.

Träningsdatat utgår i detta fall från ett litet område av staden (röd ruta) för att illustrera potentialen med AI för kartering. Där har forskarna berättat vad i en bild som innehåller exempelvis klassen – asfalt, i detta steg skapas så kallade masker vilka här i kombination med flygbilder används för att lära AI modellen hur områden med asfalt ser ut. Processen att skapa masker kallas för bildannotering och inlärningsmetoden för AI-modellen kallas för övervakad inlärning, dvs. vi människor styr och hjälper den att förstå. Det finns även metoder där AI-modellen lär sig helt själv, s.k övervakad inlärning.

För att AI-modellen skall bli bättre och säkrare på sitt resultat behöver den också tränas, det görs genom s.k. epoker där data skickas genom AI-modellens neurala nätverk. En epok är en körning genom det neurala nätverket. Det neurala nätverket är ”AI-modellens hjärna” och efterliknar den mänskliga hjärnans struktur och funktion och likt oss människor behöver AI-modellen se samma sak många gånger för att lära sig. Bildsekvensen visar hur AI modellen successivt lär sig i epoker och blir säkrare och säkrare på att identifiera de olika ytorna. Det går också att se att AI modellen inte är perfekt, på många ställen uppstår fel, att dessa fel uppstår kan exempelvis bero på den lilla mängden träningsdata som har funnits i urvalet. Exempelvis kan vi se att det markerats områden för “byggnader” mitt ute i vattnet ner mot hamnområdet – möjligtvis för att AI:n sett flera blanka tak på byggnader inom testzonen, som i sin tur kan ha liknat det blanka vattenflödet. Eftersom den saknar mer testdata med vatten kan den inte göra en bättre bedömning.

För att kunna kvalificera över hela staden med hjälp av AI måste en samlad bild, s.k. ortofoto, sättas samman. Här har ca 10.000 flygbilder triangulerats. Det innebär att forskarna vet var i den riktiga världen varje pixel i bilden finns. Utifrån dessa flygfoton har en bild tagits fram som också kompenserar för eventuella förvrängningar i kameralinsen. Denna typ av bild kallas ortofoto – ortografiskt flygfoto.

I framtiden bedöms så kallade syntetiska bilder )bilder skapade med hjälp av AI) kunna användas för att träna Simstads – AI modell. Generativ AI är en form av artificiell intelligens som kan producera text, bilder och varierat innehåll baserat på de data den tränas på. Generativ AI kan exempelvis användas inom stadsplanering genom att skapa designförslag av olika stadsmiljöer, till exempel rondeller: Genom att ge AI uppdraget att  ”Ge mig tio exempel av rondeller i det här området”, kan kommuner och invånare få se olika alternativ utan att någon behöver lägga tid på att rita upp dem för hand.

Genom klassificerande AI (computer vision) kan städer karteras automatiskt. Kommuner behöver inte spendera tid på att manuellt rita hela sin baskarta, utan kan överlåta grovjobbet till AI-modellen som genererar allt från träd till husmodeller eller rondeller. Detta ger kommuner mer tid och resurser att arbeta med saker som de inte har tid med just nu, som till exempel att hitta hjälpmedel i staden för personer med funktionsnedsättning. AI möjliggör också viss klassificering som vore tidskrävande att utföra för hand, såsom att hitta exakta arean av alla fönster på ett hus.

I Artificial Architect används AI-modellen Stable Diffusion för att skapa bilder utifrån skisser. Den har tränats på över 2 miljarder bilder och kan sedan generera nya motiv som liknar det den tränats på. Befintliga bilder kan ritas om av modellen för att införliva nya element som beskrivs av en textprompt, en process som kallas guidad bildsyntes. Metoden är snabb, flexibel och används för allt från konst och design till prototyper och idévisualisering – ibland exakt, ibland överraskande, men alltid byggt på det den lärt sig. På så sätt kan din bild förvandlas till allt i från en realistisk bild till oljemålning.

Diffusionsmodeller genomgår träning genom att presentera en första bild och sedan “förstöra” bilden genom att tillföra brus. AI-modellen övergår sedan till att istället gradvis minska bruset igen, tills den korrekt återger originalbilden. När modellen är tillräckligt tränad kan den generera helt nya bilder genom att tillföra slumpmässigt brus och sedan förfina bilden igen och igen, tills den är i linje med en textbeskrivning eller annat bildförslag.

För att kunna skapa en bild utifrån en ganska generell textbeskrivning behöver man träna modellen på en stor mängd data som består av bilder med en förklaring av vad de visar. Den grundläggande delen i “Stable Diffusion” har tränats på närmare 2.3 miljarder bilder när den släpptes 2022 och har sedan dess genomgått olika träningsmoment för att bli bättre och bättre.

Dagens AI är därför skicklig på att generera praktiskt taget vilken bild som helst på begäran.

Installationen är ett resultat av ett samverkansprojekt mellan Östergötlands Stadsmission, Linköpings universitet och Visualiseringscenter C.

Under 2024 arrangerades en serie workshops för deltagare i Stadsmissionens ledarskapsprogram Power in da Hood, där unga kvinnor mellan 16 och 25 år från Norrköpings stadsdelar Navestad och Hageby deltog. Tillsammans med forskare från Linköpings universitet, med expertis inom data och design, fick deltagarna prova på metoder för att samla in och visualisera personlig data som ett sätt att öka sin kunskap och egenmakt.

Inspirerade av dessa workshops har Linköpings Universitet tillsammans med Visualiseringscenter C utformat installationen ”Data and me” som ger förslag på hur man kan samla in och visualisera data om sig själv.