CLOUD SOFTWARE Archive

Viikon tulos: Genomisten tietoaineistojen tutkimusta pilvilaskennan avulla

Genomisten tietoaineistojen, kuten ihmisen perimän tutkimus vaatii tehokasta tutkimusinfrastruktuuria. Uusi mittalaitetekniikka on haastanut tietoteknisen infrastruktuurin suorituskyvyn ja vaatii uudenlaisten pilvilaskennan työkalujen kehittämistä.

 Aalto-yliopisto ja Tieteen tietotekniikan keskus CSC ovat kehittäneet osana Cloud Software -hanketta pilvilaskentaan perustuvia ratkaisuja genomisen tietoaineiston hyödyntämiseksi tehokkaasti. Yhteistyössä kehitetyt Hadoop-BAM ja SeqPig -ohjelmistot auttavat tutkijoita analysoimaan valtavia tietoaineistoja nopeuttaen työskentelyä ja mahdollistaen aivan uudenlaisten data-analyysien tekemisen.

Molekyylibiologian ja lääketieteen tutkimuksen kehittyessä jatkuvasti myös tutkimusympäristön on pysyttävä ajan tasalla. Uuden sukupolven sekvenointilaitteet tuottavat niin valtavia määriä mittausdataa, että perinteiset ohjelmistot eivät enää kykene sitä käsittelemään. Niinpä tärkeään asemaan ovatkin nousseet pilvilaskennan menetelmät, jotka mahdollistavat datan hajautuksen suurelle määrälle laskentapalvelimia. Erityisesti map-reduce -laskentamalli ja sen toteuttava avoimen lähdekoodin Hadoop-teknologia ovat keskeisiä nykypäivän massiivisesti hajautetussa laskennassa.

Hankkeessa on kehitetty Hadoop-BAM ja SeqPig -ohjelmistot, jotka mahdollistavat uusien sekvenointilaitteiden tuottaman mittausdatan käsittelyn tehokkaasti Hadoop-ympäristössä. Testeissä ohjelmat skaalautuivat hyvin kymmenille laskentapalvelimille ja jopa 180 prosessoriytimelle. Hadoop-BAM -ohjelmistosta raportoiva artikkeli on julkaistu arvostetussa Bioinformatics-lehdessä (http://sourceforge.net/projects/hadoop-bam/). Hankkeessa on myös kehitetty visualisointityökaluja osaksi CSC:n kehittämää Chipster-ohjelmistoa, jotta laskennan tuloksena syntyviä suuria tulosaineistoja voidaan havainnollistaa ja tarkastella vaivattomasti.

Kehitetyt menetelmät ja ohjelmistot ovat herättäneet jo kansainvälistä kiinnostusta. Hadoop-BAM on otettu käyttöön esimerkiksi yhdysvaltalaisen Institute of Systems Biologyn kehittämässä SAMQA-työkalussa, jossa sitä on käytetty mittavan Cancer Genome Atlas -aineiston käsittelyyn. SeqPig-ohjelmisto on kehitetty yhteistyössä italialaisen CRS4-laskentakeskuksen kanssa.

Cloud Software Finland on Tieto- ja viestintätekniikan tutkimus Oy:n (TIVIT) huippuosaamiskeskittymän ohjelma, joka yhdistää yliopistojen ja yritysten osaamista pilviteknologioiden tutkimuksessa ja kehityksessä.

Viikon tulos: Radamsa

Vielä ennen kesälomia tulos TIVITin Cloud Software -ohjelmasta. Juha Röning Oulun yliopistosta kertoo:

“Väinö Linnan tunnelmia ”Alussa oli suo, kuokka ja Jussi” mukaillen Oulun yliopistossa toimivallaOUSPG:lla (Oulu University Secure Programming Group) oli alussa ohjelmointivirhe, rannaton räme ja kuokkakin vielä silloin hakusessa. Koodirämettä lähdettiin raivaamaan yksi ongelma kerrallaan. Työstä kehittyi prosessi, jonka myötä työkalut kehittyivät ja isompi kuva alkoi hahmottua.

Pilvilaskennan ja entistä ketterämpien menetelmien tullessa käyttöön ohjelmiin tulee uudenlaisia haavoittuvuuksia, mutta testaus ei valitettavasti usein kata edes aikaisempia tunnettuja ongelmia. Edelleenkin tietokoneisiin murtaudutaan tyypillisesti siten, että tietoa lukevalle ohjelmalle, kuten selaimelle, musiikkisoittimelle tai sähköpostin lukuohjelmalle, syötetään ulkopuolelta vihamielistä dataa, joka ohjelmassa olevan haavoittuvuuden avulla siirtää kontrollin itselleen.

Radamsa on Oulun yliopiston kehittämä automaattinen tietoturvan testausväline, rakenteen päättelijä ja testitapausten luoja. Siihen on koottu parhaita ominaisuuksia OUSPG:n aiemmin kehittelemistä automatisoiduista tietoturvan testaustyökaluista. Työkalu analysoi ohjelman ulkopuolelta saaman datan rakennetta ja tekee sen perusteella jatkuvan tulvan mahdollisia hyökkäyksiä, jotka voidaan kohdistaa ohjelmaan jo kehitysprosessin aikaisessa vaiheessa. Näin mahdollisimman suuri osa haavoittuvuuksista voidaan löytää ennen kuin ohjelma on laajassa käytössä.

Radamsaa ovat jo hyödyntäneet hankkeessa mukana olevat partnerit, jotka käyttävät sitä myös omassa testaamisessaan. Kaupallista potentiaalia Radamsalle tulee varmasti löytymään. Yrityspartnereina projektissa ovat olleet esimerkiksi Ericsson, Nokia ja F- Secure.

Työkalun kehityksen ohessa OUSPG testaa laajasti käytettyjen ohjelmien tietoturvaa. Esimerkiksi paljon käytetyistä selaimista on löytynyt näin kymmeniä haavoittuvuuksia, jotka on raportoitu suoraan valmistajille. Esimerkiksi Google, Mozilla Foundation ja WebKit.org ovat nopeasti korjanneet ongelmat, joten sadat miljoonat tietokoneet, puhelimet, tabletit ja muut laitteet ovat nyt vaikeampia murtaa.

Radamsa on ilmainen ja perustuu avoimeen lähdekoodiin.

Esimerkkitapauksia: 1, 2, 3, 4, 5 ja 6.

***

Radamsa is our attempt to make state of the art automatic black-box robustness testing more accessible to vendors and independent software developers. Many even old and mature programs have serious issues in parts exposed to data from potentially malicious sources. Some vendors and projects have sophisticated in-house tools for testing their products, and correspondingly crackers have their own tools tailored for their needs.

Radamsa tool is an attempt to make a general purpose test case generator which others can easily add as a step towards more secure software development. The tool attempts to generate a wide variety of malformed input documents for programs in order to expose errors easily and early on in the development life cycle before they are found and possibly exploited using one of the plethora of similar ad-hoc tools.

From a practical point of view, Radamsa is a command line tool which is given a set of sample input files based on which it generates similar output files with varying definitions and amounts of similarity. The input files are analyzed using different techniques in the tool. The results are used to make interesting test cases, as opposed to just randomly corrupting the documents. The output files can be given to program being tested, and the ones causing interesting failures can be collected aside for further analysis or reporting. No BNF, DSL- or fuzzer hacking required, just a set of sample files.

Usage and installation instructions are available on our public Google code repository.

***

TIVITin ohjelmissa syntyy vuodessa satoja tuloksia: akateemisia tutkimus- ja konferenssipapereita, opinnäytteitä, softanpätkiä, liiketoimintaideoita, patentteja – ja niin edelleen. Koska yksittäiset tulokset ovat suuressa mittakaavassa useimmiten pieniä ja ne julkaistaan hajallaan eri ohjelmien sisällä, nostamme mielestämme erityisen onnistuneita tuloksia esille blogissamme Viikon tulos -sarjassa. Tutustu muihin tuloksiin: http://www.activityblog.fi/category/viikon-tulos/

TIVIT Interactive: Mashware – Downloadable Components as On-Demand Service

Watch the webinar: Tommi Mikkonen from Cloud Software SRA

Slides in SlideShare.

***

Tommi-Mikkonen

Web-based software and services are available all over the world instantly after they are released online. They can be used and updated without need to install anything, and once in place, they can also be reused in other contexts. As the amount of web services and devices used to consume data has exploded, it is becoming difficult to handle and gain access to the relevant data. Mashups are a new breed of web applications that act as content aggregates that leverage the power of the Web to support instant, worldwide sharing of content. In this paper, we apply mashupping technologies to software development, and introduce the concept of mashware, where components loaded on-demand from different sites form real applications building on the strengths of each individual component. In addition, we discuss our proof-of-concept system, where a mashware prototype has been realized for mobile devices.

Mashup-sovellukset ovat uudenlaisia ohjelmistoja, joissa tekijät yhdistelevät webistä valmiina saatavaa sisältöä uusin, innovatiivisin tavoin. Tässä webinaarissa visioidaan, mitä vastaava malli tarkoittaisi ohjelmistokehitykselle. Toisin sanoen: miten ohjelmistoja – jotka esitelmän otsikon mukaisesti ovat mashwarea – voisi rakentaa eri puolilta webiä ladattavista palasista. Tämä sallisi hajautetun ohjelmistokehityksen, pilvipalveluiden laajamittaisen hyödyntämisen osana komponentteja sekä aiempaa nopeamman kehitystyylin.

Viikon tulos: Vuoden korkeakoulujen yrittäjyysteko Jyväskylän ammattikorkeakoululle

”JAMKin SkyNEST-projektin tuottaman FreeNEST-projektialustan ympärille perustettu Nestronite Oy valittiin vuoden yrittäjyysteoksi. Suomen korkeakoulujen yrittäjyysfoorumi teki valinnan 15. – 16.5.2012 Jyväskylässä pidetyssä finaalissa.  Elinkeinoelämän edustajista valitun arviointineuvoston kriteerit vuoden 2012 valinnalle olivat projektin tuloksellisuus ja sen ympärille muodostunut laaja yhteistyöverkosto.”– Ote JAMKin lehdistötiedotteesta

Ilkka Turunen Nestronite Oy:stä kertoo:

“Jyväskylän ammattikorkeakoulu JAMK valittiin voittajaksi kaksipäiväisessä finaalissa, jossa tuomaristo valitsi yhdeksästä finalistista SkyNEST-projektin ja sen ympärille syntyneen Nestronite Oy:n voittajaksi. Miten tähän päästiin?

Vuonna 2011 JAMK otettiin FreeNESTin avulla osaksi TIVITin Cloud Software -ohjelmaa (CSW).  FreeNEST on SkyNET-projektissa syntynyt avoimen lähdekoodin projektialusta, joka integroi parhaita ohjelmistotuotannon avoimen lähdekoodin työkaluja yhteen tehokkaaseen ympäristöön. FreeNEST on täysiverinen, ammattimainen toimintaympäristö.  Nykyisellään se on otettu käyttöön mm. JAMKin ICT-tulosalueen projekteissa, sekä muutamissa pilottiprojektissa, joiden kokoluokat heittelevät muutamasta ihmisestä muutaman miljoonan euron hankkeisiin. CSW-ohjelmassa tehtyjen yhteistyöprojektien ja aktiivisen opiskelijatyövoiman käytön avulla olemme saaneet paljon arvokasta palautetta järjestelmän kehittämisestä.

Vuoden 2011 loppupuolella perustettiin Nestronite Oy, jotta kaupallistamista voitaisiin viedä eteenpäin tehokkaasti. JAMK lähti mukaan yritykseen osaomistajaksi. Lisäksi mukaan saatiin SkyNEST-projektiryhmän ydinhenkilöt sekä ulkopuolinen konsulttiyritys Contribyte Oy. Nestronite on kasvunhakuinen yritys, joka tähtää myös kansainvälisille markkinoille. Nestronite onkin päässyt mukaan TIVITin FinnCloud-ekosysteemiohjelmaan, jossa tätä kasvua ja tuotteistamista pyritään vauhdittamaan.

JAMKin ja Nestroniten ympärille on onnistuttu muodostamaan yhteistyöverkosto, joka avaa tilaisuuksia kummallekin osapuolelle. Kaiken keskiössä on FreeNEST-projekti, johon kumpainenkin organisaatio aktiivisesti ottaa osaa. JAMK pyrkii Suomen johtavaksi yrittäjyyskorkeakouluksi, ja Nestronite toimiikin tässä prototyyppiyrityksenä. JAMK on tarjonnut Generator-organisaationsa avulla tukea yrityksen perustamiseksi, ja vastavuoroisesti Nestroniten ydintiimi on osallisena JAMKin yrittäjyystoimintojen kehittämisessä. Yrityselämän puolella saatuja kokemuksia pyritään tuomaan aktiivisesti takaisin opetukseen. Tämä on luonut uniikin win-win-tilanteen, jossa kaikki osapuolet hyötyvät toisistaan.

FreeNEST

Olemme myös saaneet luotua projektimme ympärille paljon ”pöhinää”. Tälläkin hetkellä työllistämme noin 30 opiskelijaa työharjoittelussa luomassamme SkyNEST-kesätehtaassa. Opiskelijat työskentelevät Cloud Softwaresta opittujen LEAN-metodeja noudattavassa kesätehtaassa viidessä eri tiimissä, FreeNEST-alustan kehityksessä. He saavat konkreettisen (ja erittäin tarpeellisen) työnsä ohella arvokasta kokemusta mm. tiimityöskentelystä ja yhteistyöstä eri toimialojen välillä.

SkyNEST-projektin osana on ollut  jo noin 80 ihmistä. Konkreettisia tuotoksia on mm. 4 valmistunutta ja 13 työn alla olevaa opinnäytettä, yksi uusi spin-off projekti TIVITin Services-ohjelmassa, Nestronite oy:n perustaminen, ja viimeisimpänä vuoden korkeakoulujen yrittäjyysteko 2012-palkinto.

Meillä on kova tahti menossa, ja projekti jatkuu vuoden 2013 loppuun asti.  Lisää vastaavia tuloksia on siis toivon mukaan luvassa vielä jatkossakin.”

 

Lisätietoa kesätehtaasta voi lukea mm. SkyNEST-projektin blogista.

Nestroniten nettisivut (aukeavat pian)

FreeNEST-projekti

Korkeakoulujen yrittäjyysfoorumi -hanke

TIVITin ohjelmissa syntyy vuodessa satoja tuloksia: akateemisia tutkimus- ja konferenssipapereita, opinnäytteitä, softanpätkiä, liiketoimintaideoita, patentteja – ja niin edelleen. Koska yksittäiset tulokset ovat suuressa mittakaavassa useimmiten pieniä ja ne julkaistaan hajallaan eri ohjelmien sisällä, nostamme mielestämme erityisen onnistuneita tuloksia esille blogissamme Viikon tulos -sarjassa. Tutustu muihin tuloksiin: http://www.activityblog.fi/category/viikon-tulos/

Viikon tulos: Väitöskirja entistä tehokkaammasta ohjelmistokehityksestä

Monilla aloilla menestyksellistä, virtaviivaiseen ajatteluun (lean thinking) perustuvaa Kanban-tuotannonohjausmenetelmää on alettu soveltaa prosessimallina myös ohjelmistokehityksessä. FTMarko Ikosen Helsingin yliopistossa tarkastetussa tietojenkäsittelytieteen alan väitöskirjassa esitetään ensimmäisiä tieteellisiä tutkimustuloksia Kanbanin hyödyistä ohjelmistokehityksessä, jonka erityisluonne poikkeaa muista aloista.

Tulosten mukaan Kanban-menetelmä oikein sovellettuna tehostaa ohjelmistokehitysprosessia. Avainkohtiin lukeutuvat mm. arvoa tuottamattoman työn vähentyminen, hyödyttömän odotusajan minimointi sekä vain tarpeellisten ominaisuuksien toteuttaminen lopputuotteeseen tai -palveluun.

Väitöskirjatutkimuksen mukaan ohjelmistokehittäjät kokivat Kanbanin intuitiiviseksi ja motivoivaksi menetelmäksi, mikä jo sinällään lisää työn tuottavuutta. Kanbanin avulla kyettiin välttämään turhaa työtä, tehostamaan ongelmanratkaisua ja päätöksentekoa, lisäämään kommunikointia, sekä reagoimaan muutoksiin nopeammin kuin esimerkiksi ketterässä (agile) Scrum-kehikossa.

Teollisuudelle tulos tarjoaa merkittävän hyödyn mittavine säästöineen: turhan työn määrä ja keskittyminen toissijaisiin asioihin kasvattavat kustannuksia, lisäävät vastoinkäymisiä ja sitä kautta vähentävät työntekijöiden työmotivaatiota. Ongelmat ohjelmistokehityksessä tuntuvat yleensä tuotteen tai palvelun loppukäyttäjälle.

“Kun asiakas ei ole tyytyväinen, madaltuu kynnys etsiä markkinoilta omat tarpeet paremmin täyttävä toimittaja. Kanbanin avulla asiakkaan muuttuvat tarpeet voidaan huomioida jo asiakasprojektin aikana.”

TIVITin Cloud Software-tutkimusohjelma rahoitti Ikosen väitöstutkimusta ja tarjosi rajapinnan työlle, jonka etenemistä suuri teollisuussektori tarkasti seurasi.

Väitöskirjan “Lean Thinking in Software Development: Impacts of Kanban on Projects” elektroninen versio on luettavissa E-thesis-palvelussa.

Lisätietoja saa FT Marko Ikoselta, puhelin 050 531 6864, marko.ikonen@helsinki.fi

TIVITin ohjelmissa syntyy vuodessa satoja tuloksia: akateemisia tutkimus- ja konferenssipapereita, opinnäytteitä, softanpätkiä, liiketoimintaideoita, patentteja – ja niin edelleen. Koska yksittäiset tulokset ovat suuressa mittakaavassa useimmiten pieniä ja ne julkaistaan hajallaan eri ohjelmien sisällä, nostamme mielestämme erityisen onnistuneita tuloksia esille blogissamme Viikon tulos -sarjassa. Tutustu muihin tuloksiin: http://www.activityblog.fi/category/viikon-tulos/

Viikon tulos: International Conference on Software Business -konferenssisarja

TIVIT aloittaa Activityblogissa uuden perjantaipostausten sarjan, nimeltään Viikon tulos.

TIVITin ohjelmissa syntyy vuodessa satoja tuloksia: akateemisia tutkimus- ja konferenssipapereita, opinnäytteitä, softanpätkiä, liiketoimintaideoita, patentteja – ja niin edelleen.

Koska yksittäiset tulokset ovat suuressa mittakaavassa useimmiten pieniä ja ne julkaistaan hajallaan eri ohjelmien sisällä, haluamme nostaa mielestämme erityisen onnistuneita tuloksia esille blogissamme. Tämä toivoaksemme lisää toimintamme avoimuutta – julkisuudessahan on peräänkuulutettu SHOK-toiminnan läpinäkyvyyttä. Ja niitä tuloksia.

Osoittaaksemme, että ohjelmista syntyy monenlaisia tuloksia, ei pelkästään teknologiaa tai uusia palveluja, avaamme sarjan kertomalla kansainvälisestä konferenssisarjasta, joka on syntynyt Cloud Software -ohjelmamme aloitteesta. Konferenssisarjan kolmas tapahtuma järjestetään maineikkaassa Massachusetts Institute of Technologyssa Yhdysvalloissa ensi kesänä.

International Conference on Software Business (ICSOB) -konferenssisarjassa alan kansainväliset huippututkijat analysoivat ohjelmistoliiketoiminnan lainalaisuuksia ja keskustelevat liiketoiminnan käytännöistä yritysedustajien kanssa. Konferenssisarja antaa korkeatasoiselle suomalaiselle ohjelmistoliiketoiminnan tutkimukselle  hyvää näkyvyyttä ja yrityksille tilaisuuden verkostoitua kansainvälisten toimijoiden kanssa.

Ensimmäisen ICSOB-konferessin järjesti TIVITin Cloud Software Program Jyväskylässä kesäkuussa 2010. Ohjelman valmisteluun osallistui alan kärkitoimijoita 17 maasta, Etelä- ja Pohjois-Amerikasta, Euroopasta, Intiasta ja Australiasta. Toinen konferenssi järjestettiin 2011 Brysselissä. Kesäkuussa 2012 pidettävää kolmatta konferenssia isännöi Massachusetts Institute of Technology Yhdysvalloissa.

TIVITin pieni, mutta fiksusti suunnattu panostus on tuonut suomalaiselle ohjelmistoliiketoiminnalle kansainvälistä näkyvyyttä alan keskeisillä foorumeilla.”

 

TIVIT Result of the Week: ICSOB conference series (Cloud Software)

“At the ICSOB conference series – International Conference on Software Business (ICSOB) – international top researchers analyze foundations of software business and discuss practical business matters with companies. The conference series provides visibility for Finnish software business research expertise and an opportunity for companies to network with international experts of the field.

TIVIT Cloud Software Program organized the first ICSOB conference in Jyväskylä in June 2010. The program committee included members from 17 countries from South and North America, Europe, India and Australia. The second conference was arranged in 2011 in Brussels. The third conference will take place in June 2012 and it is hosted by Massachusetts Institute of Technology in the USA.

TIVIT with its small but cleverly used investment has given the Finnish software business good visibility in the key international forums.”