FOSS4G2009. Ziua a IV-a

A sosit și ultima zi la FOSS4G. De data asta am ajuns la timp. Primele două prezentări la care am asistat au fost făcute de italieni. Prima s-a intitulat Enviro: a WebGIS interface to evaluate and manage the impact of climate change at regional scale. Este vorba de o aplicație web, bazată pe OpenLayers, care permite integrarea și analiza ieșirilor din modelele de prognoză climatică în vederea estimării impactului asupra culturilor agricole. Momentan aplicația este utilizată pentru înțelegerea efectelor pe care schimbările climatice le pot avea asupra culturilor de viță de vie, în viitor existînd planuri de extindere și către alte domenii. Am rămas impresionat de complexitatea instrumentelor de analiză, realizate, după spusele autorului, în mai puțin de patru luni. În continuare se dorește realizarea unui modul de vizualizare 3D, tot în browser, folosind SDK-ul NASA World Wind. În a doua prezentare, intitulată GeoServer, GeoTools and GeoBatch: supporting operational meteorology and oceanography, Simone Giannecchini de la GeoSolutions, a arătat stadiul unui proiect extrem de complex, derulat în parteneriat cu NATO Undersea research center și serviciul meteorologic din regiunea Tuscany (Italia), proiect ce își propune realizarea unei infrastructuri de date spațiale pentru aplicații meteorologice și oceanografice. Subiectul mă interesează foarte mult deoarece și în cadrul Administrației Naționale de Meteorologie ne propunem ceva similar. Pe parcursul proiectului, echipa de la GeoSolutions a adus numeroase îmbunătățiri la GeoServer și a creat o aplicație nouă, GeoBatch, care permite realizarea în mod batch a mai multor tipuri de operațiuni (declanșate de un anumit eveniment), precum importul datelor în GeoServer.

După pauză am avut de ales între două lucrări: GeoKettle: a powerful open source spatial ETL tool, prezentată de Thierry Badard, liderul reprezentanței locale Québec și GeoServer: past, present, and future prezentată de Justin Deoliveira. Pînă la urmă m-am dus la GeoServer. Cu adevărat impresionantă evoluția proiectului în ultimii ani. Am reținut cîteva statistici referitoare la ultimul an (de fapt, mai tîrziu, am aflat că statisticile respective nu includ ultimele patru luni):

• 498 bug-uri reparate;
• 1682 modificări importante în codul sursă;
• au fost lansate șapte versiuni noi;
• s-au înregistrat peste 120 000 de download-uri.

După statistici, Justin a revenit la prezent și a anunțat că versiunea 2.0 tocmai a fost lansată oficial! Veste primită cu entuziasm de public. O data cu migrarea pe noul server vom trece si noi la versiunea 2.0.

Cu ce vine nou GeoServer 2.0:

• interfață grafică complet nouă (bazată pe Wicket UI). Gata cu butoanele Apply, Save, Load;
• suport imbunătățit pentru PostGIS, Oracle Spatial, SQL Server;
• funcționalitate avansată la etichetare (curved labels, wrapping, displacement);
• suport pentru GeoSearch, adică, de acum, KML-urile produse cu ajutorul GeoServer vor fi indexate de motorul de căutare Google;
• suport pentru stiluri dinamice;
• configurare avansată via REST;
• configurare stiluri via Styler, un editor web bazat pe GeoExt care face mult mai ușoară crearea fișierelor SLD
• suport extins pentru mai multe formate de fișier via GDAL/OGR
• în mozaic plugin se poate defini transparență iar indexul hărților se face de acum automat;
• îmbunătățirea vitezei cu care sînt randate datele de tip coverage;
• suport pentru rastere ArcSDE, cataloage raster de tip ESRI și color map ESRI;
• suport pentru Applications Schema (se pare că s-a lucrat din greu la asta).

Pentru viitor echipa GeoServer și-a exprimat dorința de a iesi din incubarea OSGeo și de a deveni proiect oficial. Cele mai importante modificări, anunțate pentru versiunile următoare, vor include:

• stocarea configurațiilor GeoServer în baze de date;
• suport pentru fișiere coverage multi-dimensiune;
• posibilitatea creării de profile pentru serviciile WMS/WFS/WCS. Asta înseamnă că, pe aceeași mașină, se vor putea crea mai multe servicii de același tip (ex: WFS), cu configurații diferite (ex: un astfel de servciu ar putea rula în forma simplă iar un altul în formă tranzacțională, făra a mai fi nevoie de două instanțe GeoServer);
• suport pentru Web Processing Services (WPS);
• suport pentru rularea de scripturi (Python, Perl) direct sub GeoServer.

Următoarea prezentare a fost despre MapServer. Prezentarea a fost, în mod intenționat, structurată similar cu cea de la GeoServer. Printre noutățile ultimei versiuni de MapServer se numără suportul pentru etichetare avansată, optimizarea conexiunilor la PostGIS, suport pentru WMS 1.3.0, suport pentru FastCGI (o îmbunătățire extrem de importantă, după cum veți vedea în continuare) etc. Dezvoltatorii MapServer n-au fost foarte generoși în detalii referitoare la versiunile următoarea. S-a pomenit doar ceva despre îmbunătățirea suportului pentru WFS.

În ultima prezentare din slot, intitulată GISVM, the ultimate tool for teaching FOSS4G, s-a vorbit despre live DVD-ul GISVM. Funcționalitatea GISVM a făcut și obiectul demonstrațiilor din Demonstration Theatre de pe perioada pauzei de masă.

În ultima sesiune de prezentări am asistat la JGrass, present and future, GeoServer application schema support: complex features for the masses și GeoServer in production. Cea mai interesantă s-a dovedit a fi prima. Proiectul JGRASS și-a propus inițial portarea funcțiilor de analiză hidrologică din GRASS în meniu Java. De ceva vreme, autorii au trecut la dezvoltarea aplicației sub formă de plugin pentru uDig . Mai multe din îmbunătățirile aduse în ultimul îi vor bucura pe membrii comunității științifice. Cele mai importante ar fi:

• suport solid pentru datele în format DXF/DWG;
• suport pentru datele în format NetCDF
• implementarea unui modul de tip “raster map calculator”;
• suport pentru analiza spațială a datelor în format raster tiled;
• cuplare cu o serie de modele hidrologice (Ex: HEC-RAS );
• suport 3D bazat pe SDK-ul NASA World Wind;
• îmbunătățiri majore la modului de printare din uDig.

A doua prezentare a fost destul de criptică. Cred că dezvoltatorii de meserie au înțeles mai multe decît mine. A treia prezentare a fost o reluare a celor prezentate, în prima zi, la workshop-ul Making maps fast – performance tuning and tile caching, așa că nu voi insista mai departe.

Un nou lucru interesant l-am văzut la Demo Theatre, înainte de începerea sesiunii finale a conferinței. Este vorba de OpenGeo Suite Installer. OpenGeo este compania cu cei mai mulți angajați implicați în dezvoltarea GeoServer. OpenGeo Suite Installer, este, după cum îi spune și numele, un installer care vă aduce la pachet ultima versiune de GeoServer, împreună cu GeoServer Data Importer (o aplicație pentru importul datelor în format ESRI Shapefile în GeoServer), GeoExplorer (o aplicație de webmapping construită peste GeoExt care înlocuiește modulul de preview), Styler (pentru crearea ușoară a stilurilor SLD) precum și cu documentația completă GeoServer. Instalarea și configurarea se face extrem de simplu, prin intermediul unui wizzard grafic. Momentan produsul este disponibil doar pentru platformele Windows. Creatorii săi au anunțat însă că în foarte scurt timp acesta va fi disponibil și pentru utilizatorii de Linux sau MacOSX. Tot pe site-ul OpenGeo există și posibilitatea descărcării unui live CD care vine cu OpenGeo Suite Installer gata instalat. Personal cred că toate eforturile depuse de OpenGeo pentru a face produsele pentru care oferă suport (GeoServer, GeoExt, OpenLayers, GeoWebCache, PostGIS) cît mai accesibile publicului larg (documentații exhaustive, tutoriale extrem de bine concepute, exemple relevante, etc.) vor da roade și vor crește considerabil baza de utilizatori. La acesta se adaugă pachetele flexibile de servicii pentru clienți.

Temperatura a crescut mult o dată cu începerea ultimei sesiuni a conferinței. Debutul aceste sesiuni a aparținut celui mai votat material de la FOSS4G2009: Web Mapping Performance Shoot-out. Aceasta continuă o tradiție începută în 2007, cu ocazia conferinței FOSS4G din Victoria, reluată un an mai tîrziu în Cape Town, cînd GeoServer și MapServer și-au măsurat forțele. Ca și în anii anteriori, toate firmele/comunitățile care dezvoltă soluții software capabile să servească date GIS folosind standardul WMS au fost invitate să participe. Provocarea a fost acceptată de comunitățile MapServer, GeoServer și de către compania ESRI. Detaliile tehnice ale testului au fost stabilite/negociate între competitori începînd cu luna august. Cu toate acestea, cu doar cîteva zile înainte de conferință, cînd testele erau în plină desfășurare, a apărut și o surpriză neplăcută, compania ESRI anunțîndu-și retragerea din concurs. Din fericire, cursa a continuat cu suspecții de serviciu. Prezentarea rezultatelor a fost făcută de către Andrea Aime (echipa GeoServer) și Jeff McKenna (echipa MapServer). Intrarea celor doi pe scenă (prezentată teatral de Arnulf Christl) s-a făcut pe un fundal sonor impunător, cu texte imprumutate din galele de box (gen: în colțul roșu, cîntărind xxx linii de cod etc, etc). Publicul a gustat spectacolul și a bătut cuba cu combatanții, pe măsură ce aceștia coborau scările spre ring… Aaa scenă.

Pentru a înțelege rezultatele prezentate este important să înțelegem contextul în care s-au desfășurat testele. Mai întîi, regulile generale ale competiției:

• fiecare comunitate/companie va testa în concurs ultima versiune a aplicației (chiar dacă este un release intermediar);
• în timpul testului fiecare aplicație va îndeplini același set de instrucțiuni folosind aceeași infrastructură hardware și software (același set de cereri WMS, va folosi conexiuni spre aceleași depozite de date, imaginile vor fi encodate în același format de fișier);
• toate îmbunătățirile realizate ca urmare a rulării testelor vor fi făcute publice în următoarea versiune a aplicației, neputînd fi folosite pentru îmbunătățirea rezultatelor testelor;
• datele de intre nu pot suferi niciun fel de modificări, singura operațiune accepta fiind indexarea;
• benchmark-ul va fi realizat pentru ambele aplicații folosind același software de testare.

Pe partea de software s-a mers cu:

• GeoServer 2.0 RC2 cu JAVA 6 update 18, Tomcat 60.0.20 (configurat să folosească maxim 8 conexiuni), GDAL 1.4.5;
• MapServer 5.6.0-beta3, Apache 2.2 (configurat cu FastCGI și un număr maxim de 8 conexiuni), GDAL SVN;
• ca sisteme de gestiune a bazelor de date s-au folosit: PostgreSQL + PostGIS 1.4.0, Oracle Spatial 11.1.0.7, Oracle + ArcSDE 9.3.1

Infrastructura hardware, furnizată de US Corp of Engineers, n-a fost una aflată chiar la prima tinerețe. De aceea se poate considera că performanțele celor doua aplicații testate vor fi cu mult mai bune pe mașini de generație recentă. Cum însă scopul testului a fost identificarea celei mai rapide soluții WMS, configurațiile serverelor au fost suficiente:

• Aplicația de testare a rulat pe un PowerEdge 1750, 1 Xeon Nocona 3Ghz, 1 GB RAM, sistem de operare RedHat Enterprise 5.3.
• Soluțiile WMS au rulat pe un Dell PowerwEdge 2850, 4 Xeon Nocona 3.4Ghz, 8 GB RAM, 6 × 73 GB, 15K RPM HDD, sistem de operare RedHat Enterprise 5.3;
• Sistemele de gestiune a bazelor de date au rulat pe un Dell Optiplex 755 tower, 1 x Intel Core2 Duo CPU E6750 @ 2.66GHz / Dual Core, 4Gb RAM, 100Gb SATA 3.0Gb/s 7200 rpm HDD, cu sistem de operare RedHat Enterprise 5.3.

După mai multe încercări s-a decis ca ambele aplicații să fie testate la cald (cu setările/cache-urile gata încărcate și nu după un reboot). Testul pentru fiecare set de date a presupus rularea unui număr de 1500 de cereri WMS, simulîndu-se (tot pe rînd) cereri simultane de la 1, 10, 20, respectiv 40 de clienți. Dimensiunea imaginilor cerute via WMS a variat între 640×480 și 1024 × 768. Fiecare test a fost repetat de trei ori pentru a elimina orice problemă. În momentul testării uneia din aplicații cealaltă era oprită.

Seturile de date au fost de patru tipuri:

• poligon, un set “TIGER 2008”: cu suprafețele ocupate de apă din statul Texas (380 000 elemente, 195MB în format ESRI Shapefile);
• punct, baza de date “GNIS” pentru statul Texas (103 000 elemente, 2.8 MB în format ESRI Shapefile);
• linie, toate elementele liniare (ape și drumuri) din baza TIGER 2008 pentru statul Texas (> 5 milioane de elemente, 1.2 GB fișierul .shp și 1.4 GB fișierul .dbf);
• raster, setul “Bluemarble TNG”: 86400 × 43200 pixeli, cu 7 straturi piramidă (testat separat în format ECW – fișier unic; 512×512 mozaic TIFF, TIFF – fișier unic (doar MapServer și mozaic din 8 părți (GeoServer)).

Primele rezultate, cele referitoare la randarea datelor vector, au extraordinar de echilibrate. Anul trecut, GeoServer reușea, pentru prima dată, să se impună în fața rivalilor la acest capitol (e drept, cu un avantaj infim). Un an mai tîrziu băieții de la MapServer și-au revenit. Au reușit acest lucru rulînd MapServer în mod FastCGI. Graficul de mai jos ilustrează rezultatele obținute la randarea setului poligonal, din fișiere Shapefile. Pe abscisă găsiți numărul de cereri simultane iar pe ordonată numărul de cereri procesate într-o secundă (cu cît acel număr este mai mare cu atît mai bine). Vedeți cum GeoServer bate lejer MapServer-ul rulat în mod CGI, dar pierde la mustață în fața instanței rulate în mod FCGI.

Rezultatele obținute la randarea setului poligonal folosind drept sursă fișiere ESRI Shapefile

Cînd vine vorba de a randa același set poligonal din baze de date cu suport geospațial, GeoServer recuperează distanța și chiar se impune la limită (mai rapid cu 1-3 procente). La randarea datelor de tip punct situația este identică. Nici randarea simplă a liniilor nu schimbă raportul de forțe. Abia cînd stratului de linii i s-a aplicat un stil ceva mai complex (cu simboluri diferite în funcție de rang și cu etichete) s-a putut detașa un învingător clar. Acesta a fost MapServer, cu aproximativ 5-20% mai rapid, în funcție de formatul sursei de date.

Rezultatele obținute la randarea setului liniar, folosind stiluri complexe și drept sursă PostGIS.

La randarea setului de date raster, MapServer a defilat, impunîndu-se detașat în toate testele. Mai jos găsiți un grafic ce ilustrază rezultatele obținute în randarea datelor din fișierul ECW.

Rezultatele obținute la randarea setului raster avînd drept sursă fișierul ECW.

Asta înseamnă că, cel puțin încă un an, MapServer rămîne soluția mai rapidă cînd e luat în comparație cu GeoServer. GeoServer compensează însă în multe alte domenii: interfața grafică extrem de prietenoasă, numărul mare de plugin-uri, suportul excelent pentru WFS și WFS-T. Alegerea uneia din cele două excelente soluții open source ar trebui făcută pe criterii ceva mai complexe, care să țină cont de numărul de utilizatori, tipul de date livrate, cunoștințele celor care administrează sistemul, etc. Pentru echipele celor două proiecte, shootout-ul prietenesc de la FOSS4G2009 ramîne o foarte valoroasă lecție, ce le va permite în viitor să reproiecteze/optimizeze acele componente care au performat mai slab. Sînt convins că niciunul din dezvoltatorii implicați nu va sta cu mîinile în sîn, iar la anul, la Barcelona, vom avea de văzut lucruri cel puțin la fel de interesante. Cei care doresc să studieze în detaliu rezultatele testului o pot face din prezentarea WMS Performance Shootout.

Revenind puțin la decizia greu de înțeles a celor de la ESRI. Aceasta a intervenit cu doar cîteva zile înainte de finalizarea testelor și debutul conferinței. La o bere, de la organizatorii locali, am aflat că echipa ESRI s-a implicat în test la modul cel mai serios. Au ținut să impună mai multe condiții iar ceilalți competitori au acceptat. De exemplu au cerut ca testele să nu se desfășoare, așa cum era prevăzut inițial, pe sistemul de operare CENTOS (Community ENTerprise Operating System), ci, pe cel certificat oficial de RedHat, RHEL (Red Hat Enterprise Linux). Modul transparent în care au decurs lucrurile se poate verifica pe pagina wiki dedicată evenimentului și pe lista de discuții Benchmarking. Și atunci ce i-a determinat ca brusc să trimită anunțul, oarecum hilar, de mai jos:

“ESRI has informed the organizers of the FOSS4G their inability to continue participating in the wms shootout event because of other priority obligations that have emerged and resource availability constraints. ESRI has informed us that they will nevertheless continue their participation in the Climate Challenge Integration Plugfest event at the conference. While we would have liked to have seen ESRI’s participation in the event, we understand their commitment to their users and appreciate their efforts to date. We look forward to seeing them at FOSS4G in the weeks ahead.“

Sursa: FOSS4G Press Release 38

Tot urechile locale spun că decizia a fost luată în urma performanțele slabe obținute în teste de ArcGIS Server. Problema se pare că vine de la aplicația de emulare folosită de ESRI pentru a permite rularea ArcGIS Server pe sisteme de operare altele decît Windows. Cum nu putea să zică oficial că versiunea disponibilă pentru clienții de Linux sau Unix este mai slabă decît pentru cei Windows au preferat această ieșire. Poate sînt doar bîrfe, dar e clar că în urma acestei decizii au avut de suferit enorm la capitolul imagine. Din păcate, se pare că ESRI nu a înțeles că scopul primar al testului n-a fost alegerea unui cîștigător, ci o mai bună cunoașterea a punctelor slabe din propria distribuție și interacțiunea cu comunități de dezvoltatori ce lucrează la probleme similare.

Conferința a continuat cu acordarea premiului Sol Katz pentru servicii aduse comunității geospațiale open source. Anul acesta, premiul i-a revenit lui Daniel Morissette unul din cei mai vechi dezvoltatori de soluții FOSS4G și un important contribuitor în proiectele MapServer și GDAL.

Daniel Morissette în discursul de acceptare a premiului

Conferința s-a încheiat cu invitația lui Lorenzo Becchi de a participa la FOSS4G2010. Spaniolii promit o conferință extrem de fierbinte, la care și-au propus să aducă peste 1000 de participanți. Personal plec, din nou, foarte încîntat de la FOSS4G, exprimîndu-mi însă dorința ca la anul viitor, delegația românească, să fie una mult mai consistentă. Chiar dacă de la ediția din acest an au lipsit nume mari precum Frank Warmerdam, Howard Butler, Schuyler Earle, Christopher Schmidt, Mateusz Loskot, Steve Lime, Markus Neteler sau Chris Holmes, n-am auzit pe nimeni să se plîngă sau să zică că a asistat la un eveniment mai puțin reușit.

Invitație la FOSS4G2010

Seara am terminat-o luînd masa în compania lui Petr Přidal. Am stropit mîncarea cu bere tasmaniană: James Boags și cu recomandarea lui Marius, India Pale Ale, probabil cea mai aromată bere pe care am băut-o vreodată. Printre altele, Petr mi-a povestit că și-a propus să creeze o aplicație web care să permită reproiectarea hărților folosind doar JavaScript (și funcționalitate HTML5) direct în browser-ul web. A doua zi, cînd ne-am întîlnit pentru a merge la un film la cel mai mare ecran IMAX din lume, mi-a spus că peste noapte a reușit să facă un prototip al aplicației. Cei interesați de subiect pot găsi mai multe detalii la http://examples.maptiler.org/map-reprojection-html5-canvas/. Personal văd multe aplicații bazate pe această tehnică pentru proiectele geo-spatial.org.

Cu acest post voi încheia seria dedicată FOSS4G2009. Poate continuăm discuțiile pe listă. După un zbor de 15 ore (în cel mai mare avion de pasageri din lume Airbus A380 :) am ajuns din nou în Dubai. Cu această ocazie țin să-mi retrag o parte din cuvintele mai puțin frumoase scrise despre acest aeroport în primul post. Domnii oferă internet wireless gratuit în tot aeroportul, permițîndu-mi să vă trimit această ultimă postare. Diseară voi fi din nou în București.