Video afspilning på iPhone

Hvis man som udvikler gerne vil afspille film i en af sine iPhone apps, har Apple stillet MPMoviePlayerController klassen i MediaPlayer frameworket til rådighed.

MPMoviePlayerControlleren gør at vi som udviklere kan abstrahere fra hvilket format filmen ligger i, om den ligger lokalt på iPhonen eller skal tilgås gennem en URL og om filmen skal streames eller hentes helt før afspilning starter.

Trinene for at afspille film fra vores iPhone app er derfor ganske simple.

  1. Tilføj frameworket MediaPlayer til Xcode projectet.
  2. Alloker plads til MPMoviePlayerControlleren og initialiser denne med en URL eller en sti til en film.
  3. Fortæl afspilleren at den skal starte afspilningen.

Et kode eksempel kan ses her

MoviePlayerInit

Og voila! App’en kan nu åbne iPhonens medieafspiller og via denne afspille film.

Det var jo dejligt nemt så vi kan hurtigt gå videre til at kigge på nogle af de lidt mere avancerede ting, der stilles til rådighed med MPMoviePlayerController.

Det første vi vil kigge på er at tilpasse afspilleren til vores behov. Som udgangspunkt bruger afspilleren iPhonens standardinstillinger, så det er op til brugeren om filmen skal afspilles i fullscreen tilstand, om han vil have mulighed for at spole i filmen og ændre på volumen.

Hvis vi selv vil kunne styre dette, for eksempel bestemme at filmen skal afspilles i fullscreen og uden mulighed for at spole, kan dette også klares med et par linjers kode.

MoviePlayerSettings

Og nu til noget mere avanceret. Afspilleren har mulighed for at underrette os når den skifter tilstand, som for eksempel når den har loadet filmen, afspilning er færdig eller skærmen liver resized. Herunder ses et eksempel på brugen af disse notifications hvor vi deallokerer afspilleren når den er færdig.

Først skal vi fortælle iPhonens notification center at vi gerne vil observere meddelelser af typen MPMoviePlayerPlaybackDidFinishNotification og når der kommer en af disse skal funktionen moviePlaybackFinished kaldes.

MoviePlayerAddObserver

Dernæst skal vi have skrevet funktionen moviePlaybackFinished som bare skal deallokerer afspilleren.

MoviePlayerFinishedSelector

Og til sidst skal vi for en god ordens skyld huske at fjerne observeren når applikationen er færdig.

MoviePlayerRemoveObserver

Observers kan også bruges til at initialisere overlays, GUI elementer
der ligger hen over filmen, når filmen er færdig med at loade eller
meget andet. Herunder ses et eksempel på en film med undertekster.

YouCanDoIt

3D landskab

Vores studenterprogrammør Asger, har haft leget med 3D visualisering og programmering. Her følger en artikel om hans første udskejelser i den virtuelle verden.

En god indgang til 3D programmering er landskabet. Landskaber er som oftes statiske og programmøren behøver derfor ikke tage hensyn til bevægelige dele. På nettet kan man finde tonsvis af tutorials omkring landskabsgeneration ud fra højdekort, både ment som introduktion til 3D programmering, men også til de udviklere, der gerne vil optimere deres første implementation og tilføje flere visuelle effekter til det. Desuden er udgangspunktet for mange spiltyper, FPS-, RPG- eller strategispil, en verden hvor spilleren kan bevæge sig rundt, og landskabet kan være grundstammen for at skabe denne verden.

Derfor faldt valget naturligt på et landskab som første applikation til at prøve kræfter med 3D programmering.

En demo af Asger’s landskabsapplikation kan ses her:

En 3D verden er mere end bare trekanter tegnet på en skærm. Det kan være en god idé at finde sig en 3D engine til at tage hånd om bruger input, renderingsstrukturen og som tillader programmøren at abstraherer fra hvordan billeder loades som texture og hvordan matematikken bag rotation og kollision fungerer.

Her faldt valget på OpenEngine. En open source engine komplet med matematik biblioteker, geometri abstractioner, loading af 3D Studio Max modeller og brugerinputhåndtering. Derudover kan programmøren selv ændre eller tilføje til engine, hvis man har idéer til udvidelser.

OpenEngine har desuden en OpenGL 2.0 extension. OpenGL er et cross platform 3D api, så dette vil tillade landskabsapllikationen at køre på både Linux, Mac os X og Wndows. Windows har desværre ikke support i øjeblikket, så det vides ikke om OpenEngine stadig kan køres fra det OS.

Rustet med OpenEngine skulle landkabet så implementeres. Det er pt. blevet til et landskab med følgende features.

  • Level of detail – Landskabet understøtter dynamisk level of detail. Det vil sige at når kameraet flytter sig længere væk fra landskabet, bliver landskabet automatisk mindre detaljeret. Grunden til dette er at langt væk fra vil brugeren alligevel ikke kunne se de finere detaljegrader, så vi kan fjerne disse og vinde noget performance.
  • Culling – En anden måde at vinde performance på er naturligvis ved slet ikke at tegne noget. Det giver ikke meget mening for ting på skærmen, men for geometri der er udenfor skærmen eller gemt bag ved anden geometri, kan man vinde ekstra performance ved at culle disse.
    Landskabet understøtter dette ved en teknink kaldet frustum culling. Her beregnes der en boks rundt om dele af geometrien og denne boks testes så imod skærmens placering. Kan boksen ikke ses på skærmen, kan geometrien inde i boksen naturligvis heller ikke og vi undlader derfor at sende geometrien til grafikkortet.
  • Geomorphing – Problemet med level of detail er at der pludselig popper flere vertices ind i verdenen når verdenen bliver mere detaljeret, eller der pludselig forsvinder en del af verdenen når nogle detaljer fjernes. Denne poppen er meget synlig for brugeren og skal derfor fjernes. Der er flere løsninger til dette,
    blendinggeomipmapping eller geomorphing. Valget faldt på geomorphing, da denne rimelig nemt kan udvides til at tillade et dynamisk terrain og kan laves med næsten intet performance tab i en shader.
  • Normalmaps – Et problem, der ikke er håndteret ved geomorphing, er skygger. Skyggerne er som udgangspunkt beregnet pr vertex, men dette giver samme poppen i skyggerne, som vi lige har fjernet ved geometrien.
    Løsningen her er enten at morphe skyggerne sammen med geometrien eller bruge et normalmap. Begge løsninger er blevet afprøvet og den sidste er klart den flotteste. Grunden er at ved brug af et shadowmap har vi altid skyggerne i den højeste detaljegrad, så selvom små bakker i landskabet ikke længer bliver tegnet i geometrien, kan spilleren stadig ‘se’ dem, da de stadig kaster skygger på terrainet. Denne løsningen tillader også at fjerne nogle af de højeste level of details for yderligere performance, men spilleren vil stadig kunne ‘se’ dem, da skyggerne stadig kastes.
  • Shaders – Skal man lave noget som helst interessant i 3D grafik i dag skal man bruge shaders. Shaders tillader programmøren selv at specificerer hvad grafikkortet skal gøre med vertices og hvordan det skal beregne farver og skygger.
    Naturligvis er der derfor også brugt en shader på landskabet. Denne står for at lave geomorphing, smide texture på landskabet baseret på højde, så der kommer strand i bunden og sne på toppen af bjergene. Desuden beregner den skygger og hvor meget af landskabet, der skal kunne ses under vand.

Koden bag landskabet kan ses her eller ved at hente OpenEngine, som beskrevet her og hente projektet terrain. Herfra kan projektet også kombileres og køres. Som nævnt er der ikke Windows support for OpenEngine pt, så projektet er kun blevet testet under Linux og Mac os X.