Noise data collection and autonomous species identification to facilitate environmental monitoring – a synthesis

Trenden för Sveriges miljömål är i flera fall nedåtgående, och ett av de områdensom visar negativ trend är målet ”Ett rikt växt- och djurliv”. Sveriges uppföljning avhabitat- och fågeldirektivet påvisar ett utsatt läge för den biologiska mångfalden.Det är idag svårt och kostsamt att övervaka om de svenska miljömålen uppfylls.Insamling av ljud- och bilddata sker redan idag i en stor omfattning, men detfinns en stor och outnyttjad potential att förenkla miljöövervakningen genom nyabilliga datainsamlingsenheter och framför allt genom nya automatiska AI-baseradeanalyssystem. Manuell provtagning och datainsamling är tidskrävande och kostsam,vilket gör autonom ljud- och bilddatainsamling attraktivt, särskilt på otillgängligaplatser som till exempel under vatten. I flera fall skulle allmänheten kunna anlitasför att hjälpa till med detektering av invasiva främmande arter med hjälp av enmobiltelefonapplikation som använder artificiell intelligens för artidentifiering.I denna rapport granskas state of the art, det vill säga resultat och tekniki forskningsfronten, när det gäller användning av ljud- och bilddata för bullerövervakningoch bullerkartläggning, för artidentifiering av djur och växter ochför övervakning av invasiva främmande arter. Rapporten granskar och analyserarnuvarande och framväxande teknik och metoder och bedömer deras mognad,tillgänglighet och tillförlitlighet. Denna rapport syftar till att redovisa möjligheter och utmaningar kopplade till: System för att samla in bullerdata för att modellera bullerpåverkan i de terrestraoch akvatiska domänerna och möjliggöra bullerkartläggning.System för autonom ljud- och bildbaserad artidentifiering, uppskattning avpopulation och övervakning av biologisk mångfald.System för detektion av invasiva främmande arter, till exempel medmobiltelefonapp.Ekoakustisk bullerdatainsamling Biologiska tillämpningar inom akustik kallas bioakustik eller ekoakustik. De mestutforskade områdena med passiv akustisk övervakning eller PAM, är djurläteni ultraljudsområdet (exempel är fladder-möss och valar), eftersom traditionellaanalysmetoder kan användas i de fallen. PAM kan till exempel realiseras med ljudboxar,enskilda eller i matriser, eller med halsband eller inopererade enheter påenskilda djurindivider. Akustiskt aktiva djur inrättar sig efter varandra och övrigaljud, varför ljudlandskap anses ge information om biosystemets hälsa.Det viktigt att adressera hela mätkedjan i PAM-teknik. Rapportens översikt avhårdvara fokuseras mot ljud, eftersom kamerateknik är etablerat i svensk viltvård.De flesta hårdvarukomponenter i mätkedjan behöver väljas från praktisk synvinkelför att fungera bra i mätsystem, till exempel batteritid, minneshantering elleruppkopplingsmöjligheter,och låg kostnad om många insamlingsenheter behövs. Rapporten innehåller även en översikt av autonoma system eller integrerade enhetersom täcker hela mätkedjan vid insamling av ljuddata. Möjligheterna att kombineraljud- och bilddata för analys används sällan idag, och det kan finnas stora vinsteratt göra inom detta fält.Framgångsrika AI-baserade analysmetoder har inte slagit igenom i kommersiellamjukvaruprogram. Det är ett stort tryck inom forskarvärlden på att tillgängliggöraanalysresultat, analysverktyg och insamlade data, för att kunna återanvända data och resultat av resursskäl, och erbjuda större datatäckning. Även standardiseradeformat på metadata efterfrågas, syftande mot internationell forskningspraxis.Framgångarna inom medborgarforskning kan delvis tillskrivas nya verktygimplementerade i mobilappar, men det finns en stor utvecklingspotential attskräddarsy verktyg och metoder efter verksamheter och faktiska behov. AI inom bioakustik –State of the art De AI-baserade metoder som används mest inom bioakustik är djupinlärningsmetoder,framför allt olika former av neurala nätverk som lämpar sig för resurskrävandelyssning och bildgranskande. Det största området är fågelklassificering.Den vanligaste typen av neuralt nätverk inom bioakustik är CNN (convolutionalneural network), vilken är viktig inom bild- och ljudanalys, men nya varianterutvecklas ständigt. Ofta används spektrogram (en bildrepresentation av ljud) somindata till djupinlärningsmodeller, men många varianter har visats fungera. Melspektrogramär det som funkat bäst i bioakustiska sammanhang, på grund av attfrekvensskalningen avbildar läten likadant oavsett tonhöjd, vilket passar nätverkav CNN-typ. Observera att samma rådata kan ligga till grund för olika typer avträningsindata,om de har tillräckligt bra kvalitet och upplösning. Kraven på högupplöstdata väntas öka, vilket är viktigt om insamlade rådata ska kunna användasi framtiden, liksom kraven att metadata ska kopplas till konstaterade observationer.För maskinlyssning har en femtonfaldig ökning skett av antalet publikationeri området mellan 1998–2018. Skattning av populationstäthet hos fåglar med hjälpav maskinlyssning har visat sig ge lika bra resultat som manuell punkträkning,med avseende på nyckelparametrar som antal noterade fågelarter.Metoder som inte kräver manuell klassificering av upplärningsdata är en lovandeframåt för bullerreducering och källseparering. Vid brist på annoterade indata förträning av modeller kan ”embedding functions” användas. Från området stadsbullerfinns metoder för att realtidsströmma data med hjälp av distribuerade nät. Aktiva inlärningsmetoder, det vill säga metoder där experter aktivt deltar iinlärningsprocessen,ger snabbt kraftfulla resultat. En intressant variant på detta äratt träna djur för att göra val som blir annoteringar av indata. Detta ger en modell somrepresenterar djurens egen perception, vilket dock får användas med försiktighet.Sammanfattningsvis ses inte en omfattande satsning på bullerdatainsamlingutanför Sveriges bebyggda områden eller runt Sveriges kustersom realistisk i dagensläge, men det finns stora möjligheter att integrera autonom artidentifiering i depågående övervakningsaktiviteter som bedrivs i svensk natur eller som ett proof-of concept.The trend for Sweden’s environmental goals is in several cases negative, and one ofthe areas that shows an undesirable trend is the goal “A rich diversity of plant andanimal life”. Sweden’s follow-up to the habitat and bird directive and the shows acontinued vulnerable situation for biological diversity. But today it is difficult andcostly to monitor the Swedish environmental quality targets are met.The collection of sound and image data already takes place on a large scale today,but there is a large and untapped potential to simplify environmental monitoringthrough new cheap data collection devices and above all through new automaticAI-based analysis systems. Manual sampling and data collection is time-consumingand costly, which makes autonomous audio and video data collection attractive,especially in inaccessible locations such as underwater. In several cases, the publiccould be enlisted to help detect invasive species using a cell phone application thatuses artificial intelligence for species identification.This report reviews the state of the art in the use of sound and image data fornoise monitoring and noise mapping, for species identification of animals and plants,and for invasive species monitoring. The report reviews current and emergingtechnologies and methods and assesses their maturity, availability and reliability.This report aims to report opportunities and challenges linked to:• Systems to collect noise data to model noise impacts in the terrestrial andaquaticdomains and enable noise mapping• System for autonomous sound and image-based species identification,populationestimation and biodiversity monitoring• System for the detection of invasive species, e.g. mobile phone appsTechnical solutions and methods must be based on open data and open design.Echoacoustic noise data acquisitionBiological applications in acoustics are called bioacoustics or echoacoustics. Themost explored areas of passive acoustic monitoring, or PAM, are animal sounds inthe ultrasonic range (e.g.bats and whales), as traditional analysis methods can beused in those cases. For example, PAM can be realized with sound boxes, single orin arrays, or with collars or implanted devices on individual animal individuals.Acoustically active animals align themselves with each other and other sounds,which is why soundscapes are considered to provide information about the healthof the biosystem.It is important to address the entire measurement chain in PAM technology.The report’s overview of hardware is focused on audio, because camera technologyis established in Swedish wildlife management. Most hardware components in themeasurement chain need to be chosen from a practical point of view to work wellin measurement systems, such as battery life, memory management or connectivityoptions, and low cost if many acquisition devices are needed. The report also contains an overview of autonomous systems or integrated devicesthat cover the entire measurement chain when collecting sound data. The possibilitiesof combining audio and visual data for analysis are rarely used today, andthere can be great gains to be made in this field.Successful AI-based analysis methods have not made it into commercial applications.There is great pressure within the research community to make analysisresults, analysis tools and collected data available, to be able to reuse data andresults for resource reasons, and to offer greater data coverage. Standardized formatsfor metadata are also requested, aiming at international research practice.The success of citizen research can be partially attributed to new tools implementedin mobile apps, but there is great development potential to tailor toolsand methods to businesses and actual needs.AI in bioacoustics – State of the artThe AI-based methods most used in bioacoustics are deep learning methods, aboveall different forms of neural networks that are suitable for resource-demandinglistening and image review. The largest area is bird classification.The most common type of neural network in bioacoustics is CNN (convolutionalneural network), which is important in image and sound analysis, but new variantsare constantly being developed. Spectrograms (image representations of sound)are often used as input to deep learning models, but many variants are in use. Melspectrogramis the one that has worked best in bioacoustic contexts, because thefrequency scaling depicts the sound the same regardless of pitch, which is suitablefor CNN-type networks. Note that the same raw data can form the basis of differenttypes of training input, if they are of sufficient quality and resolution. The requirementsfor high-resolution data are expected to increase, which is important whencollected raw data is to be future-proofed, as are the requirements to link metadatato registered observations.In the machine listening area, there has been a fifteen-fold increase in thenumber of publications between 1998 and 2018. Estimation of population densityof birds using machine listening has been shown to give as good results as manualpoint counting, with respect to key parameters such as number of recorded birdspecies.Methods that do not require manual classification of training data are apromisingway forward for noise reduction and source separation. Annotationscarcity of training data can be addressed with embedding functions. In the areaof urban noise, there are methods for real-time data streaming using distributednetworks. Active learning methods, i.e. methods where experts actively participatein the learning process, quickly produce powerful results. An interesting variantis to train animals to make choices that become annotations of input data. Thisprovides a model representing the animals’ own perception, which must be usedwith caution.In summary, an extensive investment in noise data collection outside Sweden’sbuilt-up areas or around Sweden’s coasts does not seem realistic in today’s situation,but there are great opportunities to fruitfully integrate autonomous species identificationinto the ongoing monitoring activities in Swedish nature