14:00 - Key Note: No More Fooling Around: Skills and Dynamics of Exploratory Testing. Michael Bolton, Canada

Organizations are beginning to recognize exploratory testing as a part of their development cycle.  But where in the cycle does exploratory testing begin?  When does it stop? What are the specific skills of exploratory testing?  How can a manager or team recognize those skills?  How can we train people to do exploratory testing in a professional way, and to account for their work? 

In this talk, Michael Bolton will explain the specific, observable, trainable skills of exploratory testing.  For testers, he’ll identify particular tactics to sharpen the practice.  For managers and other team members, he suggest ways to observe and evaluate exploratory testing, and to develop work products that help to make it visible and accountable.

15:00 - Continuous quality improvements - A journey through everyday life of the largest scrum project in Norway. Kristina Tangen, EDB ErgoGroup, Norway

In this presentation you will learn about how the testing process and continuous quality improvements are aligned to the scrum process in a large software project. We hope that our hands -on experience will give you inspiration on how to tailor the test process in an agile environment. The project has been running for more than three years, with nine successful releases to end users. We would like to share our experiences with managing test processes in a large scrum project – our do’s and don’ts, our success stories and also our lessons learned. The project is the largest scrum project in Norway to date.  The project scope is to implement system support for managing a new pension reform for all inhabitants in Norway that are members of the pension fund, and replacing existing system due to outdated technology .  Approximately 750 000 project hours will be spent and between 100-180 people are involved in the project: thirteen scrum teams, plus two project management and acceptance testing teams, and one business expert team.

16:00 - Modellbasert testing i Cisco/Tandberg. Marius Liaaen, Cisco, Norway

Modellbasert testing er sett på som dyrt, vanskelig og eksotisk. Det er det ikke. Etter deltagelse på MBTUC (Modell Based Tester User Conference) i Berlin i oktober ser jeg at dette brer seg ut i mange forskjellige områder nå. Det foregår mye både hos vertøy leverandører, industrien og forskning. Vi har jobbet med MBT i 4 år for deler av testingen vår av embedded systems for video konferanser. Cisco (Tandberg) har brukt open source verktøy til å spesifisere og utføre slike tester med gode erfaringer. I denne presentasjonen vil jeg vise to typer modellbaserte tester vi bruker - utviklet i to forskjellige verktøy (Graphwalker og pymodel) og erfaringene med disse to open source verktøyene. En av testene går på å teste en applikasjon som kjører på boksene våre og den andre er en test modell vi har utviklet for integrasjonstesting av en systemløsning bestående av mange systemer av forksjellig type.

MBT  adresserer mange problemer som man har med tradisjonell testing som skalering,  vedlikehold,  test dekning, spesifikasjon etc. Innføring av MBT medfører at man må gå fra å utvikle konkrete testcase til å lage (enkle) modeller som beskriver det samme, men på en mer generell og fleksibel måte. MBT løser ikke alt, men kan brukes til omtrent alle aspekter ved testing hvor operasjoner på et testobjekt medfører endring i system tilstand.

17:00 - Unusual Testing - lessons learned from being a Casualty Simulation Victim. Nathalie van Delft, Capgemini, The Netherlands

Hobbies can be an inspiration for many analogies in software and system testing, but it can also be the other way around. I've been a so called casualty simulation victim for a couple of years now, playing a patient in hospitals, a victim who needs help from a first aider (both in First Aid lessons and ambulance training) and at disaster re-enactments. I use my knowledge from the Software Testing process for the benefit of being better and more structured in my casualty simulation situations. In return I got a whole bunch of tips and lessons learned that I could use within my job as software tester. Many lessons and particularly useful for software testing, but there are also lessons that are beneficial for all other disciplines in software and syustem development.

Caution: the presentation has imagenry that can be gruesome for some people.

Nathalie Rooseboom de Vries van Delft, has been involved in IT (professionally) since 1997 and is involved Software Testing since 2004. She is Expert Group Leader of the cluster testing technologies and processes and member of the CTO office at Capgemini, responsible for thoughtleadership and testing competence development. She fulfills the roles of testmanager and –advisor with various clients. She speaks on national and international testevents on regular basis, writes in specialist publications and participates in the Dutch Standardization Body (NEN) workgroup for Software- and System development. She is very passionate about (software)testing in general, but the subjects Data Warehouse Testing, E2E-testing, Standardization, Ethics/ Philosophy and Test Architecture (Framework) are most favorite.

10:00 - Hvordan få gode testmiljøer. Pål Gaute Sætre, Helse Vest IKT, Norway

En presentasjon om arbeidet med testmiljø i Felles Elektronisk Pasientjournal programmet (2008-2011) i Helse Vest. Her ble de påpekt fra flere erfarne testledere at vi hadde gode testmiljø og presentasjonen tar for seg organiseringen rundt arbeidet med testmiljø på organisatorisk, teknisk og funksjonelt nivå.

10:00 - Success story of automation test with Open Source tools in Vianova Systems. Yanhong Peng, Vianova Systems, Norway

Test automation is a pipe dream in most IT companies, as it is very difficult to realize. Whilst trying to implement testing automation most companies encounter many difficulties and suffer many pains, and many companies finally give up.

What is the best strategy to start with? What are the criteria for selecting automation tools? What tests should be automated firstly and finally? What levels of testing should be automated? How to integrate automation testing with the build system? Does the automation test fit for agile developing? How to implement an extensible architecture? How the testers and developers work as a team in automation testing for agile? There are lots of questions, and test managers are seeking their own best approaches to succeed.

Here I would like to share what we have done in Vianova Systems AS during a very short time of attempting automation testing and what we have achieved.

Yanhong Peng, Test Manager and QA lead at Vianova Systems AS. Over 10 years test manager and QA lead experiences in different industries, focusing on QA process establishment and improvement, automation test architecture, test plan & test management & release process control. Before settled down in Norway in 2002, also worked over 10 years as software systems developer, consultant, and research fellow and associate professor in a university in China.

11:00 - Teknisk akseptansetesting - fortellinger fra IKT-enheten. Tore Sletten, Steria, Norway

Mange utviklingsprosjekter har sterk fokus på testing. Ofte betyr dette funksjonell testing. Dette er ikke godt nok for den som skal drifte systemet. Driftsorganisasjonen har behov for flere typer teknisk test for å sikre driftbarhet og stabilitet. Foredraget er basert på erfaringer fra et av Norges største utviklingsprosjekter.

Presentasjonen tar for seg erfaringer fra mottak av systemleveranser fra utviklingsprosjektet til linjen. Hvilke hensyn må man ta for systemer basert på tjenesteorientert arkitektur (SOA)? Teknisk akseptansetesting omfatter flere disipliner og krever et tett samarbeid med linjens driftsorganisasjon. Emner som utrullingstest, driftstest, samspillstest, test mot eksterne partnere og produksjonssetting blir berørt. Erfaringene er hentet fra et utviklingsprosjekt med 4 års varighet og mer enn 250 medarbeidere. Presentasjonen retter seg mot alle som involveres i mottak av systemleveranser, men gir også tips til den som planlegger leveranse til en interne eller ekstern mottaker.

Hovedpunkter:

1. Hvorfor teknisk testing er avgjørende for SOA prosjekter?

2. Hva bør testes før systemet settes I produksjon?

3. Hvem bør delta i teknisk akseptansetest?

11:00 - Automated functional loadtesting: grinder + webdriver. Vegard Hartmann & Øyvind Kvangardsnes, Bekk Consulting AS, Norway

Applications should always be tested thouroughly, and many have, or are in the process of, building up a suite of tests to automate their functional acceptance tests. However, many choose not to perform testing of non-functional requirements, such as load, because it is difficult and costly to achieve. We will show how easy this can be done by reusing functional webtests as loadtests and include them in a continuous integration environment. During the talk we will higlight challenges with loadtesting, give an introduction to the tools, and show how they are best put to use. This will be done through a practical demonstration where we will write webtests, reuse them as loadtests, include them in a build tool, and finally put them to use in a continuous integration environment in order to do continuous loadtesting. After the talk you will be able to return to your project and with minimal effort automate your loadtests and run them continuously.

Vegard Hartmann is a Manager at Bekk Consulting. He has worked on several agile projects and has a broad experience with automated testing and quality assurance.

Øyvind Kvangardsnes is Senior Consultant at Bekk Consulting. He has worked on mission-critical applications and has experience with automated testing.

13:00 - E-resept Norge – et integrasjonsprosjekt. Fiona Østensvig, EDB ErgoGroup, Norway

Helse- og omsorgsdepartementet har overordnet ansvar for e-resept. Gjennomføringsansvar for e-reseptprogrammet ligger hos Helsedirektoratet, som i perioden 2006–2011 ledet e-reseptprogrammet. Aktører som samhandler i programmet er Den norske legeforeningen, Apotekforeningen, Bandagistenes næringspolitisk utvalg, Statens legemiddelverk, Helsedirektoratet og Helse- og omsorgsdepartementet samt leverandører av ulike system. I januar 2011 ble E-reseptprogrammet avsluttet og forvaltningen ble overført til de respektive parter.

E-resept ble innført i to norske kommuner våren 2010. I disse kommunene har e-resepter langt på vei erstattet papirreseptene. I juni 2011 ble løsningen gradvis rullet ut i flere kommuner, og i 2013 skal ordningen være landsdekkende.

Testledelse og testgjennomføring i et offentlig, nasjonalt prosjekt er ekstremt utfordrende fordi det er mange ulike interessenter som påvirker framdriften. Aktørbildet består både av offentlige og private eiere med ulike forutsetninger for gjennomføringen. Foredraget vil ta for seg integrasjoner og utfordringer relatert til kvalitetssikringsarbeidet, både systemteknisk og organisatorisk. Hvilke utfordringer erfarte vi i integrasjonsarbeidet? Fikk vi kvalitetssikrede leveranser til testgjennomføring? Er det effektiv å sitte desentralisert i et nasjonalt prosjekt? Hvordan jobbet vi sammen, og fikk vi testet hele løsningen? Foredraget vil på en inspirerende måte vise til utfordringer og tiltak som ble iverksatt for å sikre samlet testgjennomføring av E-resept.

Fiona Ring Østensvig jobber hos EDB ErgoGroup Consulting som avdelingsleder for testledere og testere. Hun er ISTQB sertifisert, og hun har mange års erfaring som testleder. Med sin erfaring og kunnskap innen utvikling, test og testledelse har hun ansvar for faget og profesjon software test.

Hun var, som eneste representant fra Norge, foredragsholder på EuroSTAR2010. (eResept Implementing Electronic Prescription In Norway) Fiona ble våren 2011 invitert til å sitte i styret til Den norske Dataforeningen sin software test gruppe.

13:00 - Cheap and Free tools. Lloyd Roden, Lloyd Roden Consultancy, UK

14:00 - Testing av web-tjenester i SOA. Jørgen Austvik, Kantega AS, Norway

Tjenesteorientert arkitektur (eng: Service-Oriented Architecture, SOA) lar løst koblede systemer utveksle data og utføre tjenester for hverandre. Dette gjør at SOA ofte benyttes i store og komplekse systemer, i kommunikasjon mot legacy-systemer og når det trengs kommunikasjon mellom forskjellige firma.

Tjenesteorienterte arkitekturer brukes i Norge i dag for eksempel hos NAV, Posten og Statoil, i bank og finans og hos offentlig forvaltning - så sjansen for at det neste prosjektet du tester har elementer av SOA i seg er ganske stor.

Høy grad av hetrogenitet og uavhengighet mellom tjeneste i SOA gir spesielle utfordringer som man ikke nødvendigvis har i andre systemer og arkitekturer. Denne presentasjon viser en del av disse utfordringene, og hva vi har gjort for å løse dem.

14:00 - Testautomatisering med STAF/STAX. Morten Staalesen, Devoteam Solutions AS, Norway

I en verden med stadig økende konkurranse må organisasjoner stadig forbedre sine prosesser for å forbli konkurransedyktige. Automatisering er en viktig faktor innenfor test. Valget av testverktøy er vel så viktig. Faktorer som Open source eller kommersielt, pris, vedlikehold, lisenser, infrastruktur, hardware, kompleksitet, fleksibilitet bør alle være undersøkt ved valg av testverktøy.

Denne presentasjonen vil forklare hva som bør vurderes når man undersøker testautomatisering. Den vil også gi et eksempel på automatisering av tester med open source verktøyet STAF / STAX og ikke minst introdusere STAF / STAX som et testverktøy.

Morten har jobbet med IT siden han fullførte sin Master-utdanning i 2007. Han har vært involvert i alle områder av software utvikling, men spesialiserte seg tidlig innen kvalitetssikring (test).

Morten er en senioringeniør hos Devoteam Solutions A/S i Norge (Grimstad). Han er en erfaren konsulent innen software testing.

15:30 - Automated tests that survive even continuous change. Martin Gijsen, De Analist, The Netherlands

While it may be more obvious during development than in the maintenance phase, software evolves all the time. Automated system and acceptance tests often respond to these changes by refusing to run any longer. Because of the maintenance effort, many projects abandon automated testing after a while or do not even attempt it, and miss out on its many benefits. Which is even more unfortunate considering that the more changes affect the software, the more important the automated test is to make sure the software still works as before.

This presentation discusses practical techniques that have reduced maintenance effort significantly, using real examples from their application to two systems: A web application and an embedded system. These techniques are:
- Moving interface details out of test cases,
- Moving execution details out of test cases,
- Moving tooling details out of test cases,
- Moving environmental / configuration data out of test cases,
- Moving test data out of test cases,
- And (test) specification techniques from (Agile) approaches like BDD (Behavior Driven Development).

Applying these techniques has resulted in automated testing solutions that can deal with the evolution of the software. And while they are not new, they are rarely discussed, so many organisations are not familiar with them or are not yet applying them to their testware.

The main lessons from this presentation are:
- That certain techniques reduce maintenance to the testware for a system, regardless of its kind of interface or what tooling is used,
- That these techniques boil down to moving maintenance sensitive details elsewhere using abstractions, and
- How to apply the techniques.

After studying computer science, Martin soon became interested in automated testing. He has supported testers on diverse test automation projects as a software engineer, designer and architect for over ten years. He has presented at national and international conferences. He is also a business analist in banking.

15:30 - Security testing using Backtrack/OWASP. Frans Dijkman, Brønnøysundregistrene, Norway

Security testing is testing or verifying if the defined security measures are correct implemented. Most testers agree with the fact that security testing should be done but most of them are uncertain which tools to use.
Using some of the open source tools contained in the testing framework Backtrack will we check a given test environment. 

Frans Dijkman is an experienced tester and test manager currently working for Brønnøysundregistrene. He has been involved in over 20 years in Quality Assurance and acceptance testing of complex mobile communication systems. He is a fulltime software tester since 2004 bringing test experiences from large healthcare (UK and NL) projects. Based on a technical background he does like the non functional testing parts. He is ISTQB full advanced and TMAP certified and holds an EC Council CEH ‘Ethical hacking’ certificate.

16:15 - Ever been fooled by performance testing results?. Mieke Gevers, Aqis, Belgium

16:15 - FitNesse som nyttig verktøy. Anders Vindvad , Steria, Norway

FitNesse kan være et veldig nyttig verktøy. Som scrummaster i norges største smidig prosjekt, PERFORM i Statens Pensjonskasse (SPK),  har vi benyttet FitNesse med godt utbytte. I nærmere 3 og et halvt år, og nesten 50 iterasjoner av 3 uker, har vi opparbeidet mye erfaring med aktivt bruk av fitnesse. Erfaringer som går på testdrevet utvikling, testdrevet feilretting og sikkerhetsnett ved refaktorering.

Anders er prosjektleder fra Steria. Over 14 års erfaring med systemutvikling. Scrummaster i norges største smidig prosjekt i  3,5 år.

09:00 - 12:00, 13:00 - 16:00 Rapid Software Testing. Michael Bolton, Canada

See details here.

Michael Bolton is a tester, consultant, and trainer.  He is co-author (with senior author James Bach) of Rapid Software Testing, a course that presents a methodology and mindset for testing software expertly in uncertain conditions and under extreme time pressure. Michael is a leader in the context-driven software testing movement, with 20 years of experience testing, developing, managing, and writing about software. Currently, he leads DevelopSense, a Toronto-based consultancy. Prior to that, he was with Quarterdeck Corporation for eight years, during which he managed the company’s flagship products and directed project and testing teams both in-house and around the world.

09:00 - 12:00 Ytelsestesting med Grinder. Espen Halvorsen & Kjetil Valle, Bekk Consulting, Norway

Ønsker du å komme i gang med ytelsestesting av webapplikasjonen din? Vi kjører en gjennomgang av vanlige mål og strategier for last- og ytelsestesting, og introduserer deg for Grinder. Dette er et lettvekts ytelsestestrammeverk der testene skrives i Jython, dvs. Python kjørende på Java's VM med mulighet for å kalle vilkårlig Javakode. Det er open-source, gratis, og veldig lett å sette seg inn i. Vi stiller med en del oppgaver basert på erfaringer vi har gjort oss under ytelsestestingen av Digipost og Statens Vegvesen's nettsider, og guider deg gjennom skrivingen av dine første ytelsestester. Når du går fra denne workshop'en bør du være godt rustet til å gå hjem og ytelsesteste din egen applikasjon.

UPDATE:

Preparations: You should bring your own laptop to this workshop. If possible, it would also be awesome if you could find time to do the preparations listed at this GitHub repository: https://github.com/kvalle/grinder-workshop . Don't worry, it's not much – in short it's just checking out the code and running a simple script to see that everything works.

13:00 - 16:00 Automated testing of web applications with FitNesse and WebDriver. Martin Gijsen, De Analist, The Netherlands

This workshop first briefly explains current automation approaches (Data-Driven testing, Behaviour Driven Development, Specification by Example). We will then do several exercises to apply these while becoming familiar with FitNesse and WebDriver (formerly Selenium), in scripting and code, as applicable. Suitable for non-technical testers as well as developers (either Java or .NET). Please bring your laptop.

09:00 - 12:00, 13:00 - 16:00 How to run your own Usability Test Workshop. Laura Arlov, Skatteetaten, Norway

A Usability Test Workshop is a technique that helps your development project to identify usability problems and agree how to solve them. The workshop produces a prioritized action list with strong commitment from participants. It is cost-effective compared to the more customary usability tests / reports carried out by external consultants or internal experts. You can get started using this technique on the basis of a one-day tutorial. You do not need to have any special knowledge of usability and design, but a strong interest helps!

You will learn how to be the test facilitator: How to prepare for the workshop, including who to invite and how to decide on test criteria; how to facilitate tasks with a test user and keep your observers hard at work during the test; and how to conduct the decision-making session and report results afterwards. You will also receive templates and examples for a combined test script / observer worksheet, and for a workshop results presentation.

08:30 - 12:00, 13:00 - 16:00 Rapid Software Testing. Michael Bolton, Canada