Kraftfulde værktøjer til Elasticsearch datavisualisering og analyse

Målet er at gøre data til information og information til indsigt. ― Carly Fiorina

Om Kibana

Kibana er et stykke datavisualiseringssoftware, der giver en browserbaseret grænseflade til at udforske Elasticsearch-data og navigere i Elastic Stack - en samling af open source-produkter (Elasticsearch, Logstash, Beats og andre).

Mens Logstash og Bits leverer data til Elasticsearch, åbner Kibana vinduet i Elastic Stack , så du kan spore helbredet i din klynge , udføre log- og tidsserie-analyse , opdage uregelmæssigheder i dataene med ikke- overvåget maskinindlæring , opdage forhold ved hjælp af grafer og vigtigst af alt udtrække indsigt fra Elasticsearch-dataene med visualiseringer, der kan kombineres i et brugerdefineret interaktivt dashboard .

I dag vil jeg gerne vise dig, hvordan du opretter en fantastisk instrumentbræt og en tabelform rapport baseret på Elasticsearch data.

Rul ærmerne op, og lad os starte!

Hvor skal jeg starte?

Den hjem side er det sted, hvor alt starter.

Her kan du beslutte, hvilke handlinger du skal tage næste. Den tilgængelige funktionalitet kan opdeles i to logiske sektioner:

  • Visualisering og udforskning af data. Her kan du oprette et nyt dashboard, visualisering eller præsentation, opbygge en maskinlæringsmodel, analysere forhold i dine data ved hjælp af grafer og mere.
  • Administration af elastisk stak : Konfigurer dine mellemrum, analyser logfiler for en applikation, konfigurer sikkerhedsindstillinger osv.

Vi fokuserer på processen med at skabe visualiseringer og føje dem til dashboardet.

Sådan oprettes et dashboard i Kibana

Lad mig få dig en fornemmelse for, hvor let det er at oprette et rigt dashboard og starte rapportering.

Det første vigtige skridt at tage er at importere dine data til Kibana. Flere muligheder for at tilføje data er til din rådighed - du kan vælge den, der fungerer bedst for dig:

Til demonstrationsformål har jeg valgt eksempeldataene.

For at designe dine første datavisualiseringer og kombinere dem i instrumentbrættet skal du åbne siden Visualiser . Her kan du oprette, ændre og se de eksisterende visualiseringer.

Hvad der vil slå dig med det samme er den overflod af visualiseringstyper, du kan vælge imellem.

Når du har valgt det, du har brug for, skal du vælge et indeksmønster som kilde for at informere Kibana om dit indeks. Lad os vælge 'kibana_sample_data_flights' og begynde at oprette et vandret søjlediagram.

Nu kan du anvende en metrisk aggregering for Y-aksen og en bucket-aggregering for X-aksen. Her er en liste over alle tilgængelige sammenlægninger til diagrammer.

Eventuelt kan du tilpasse farverne på visualiseringen.

Filtrering er en anden mægtig funktion ved Elasticsearch og Kibana. Det giver en måde at kun visualisere et valgt undersæt af dokumenter på.

Se hvordan du kan anvende filtre på felterne baseret på logiske forhold:

Som du ser giver Kibana en ligetil måde at filtrere dataene via den komfortable grænseflade. Sammen med det kan du vælge, hvordan dataene skal filtreres - enten ved hjælp af Kibana Query Language (en forenklet forespørgselsyntaks) eller Lucene .

Hvis du vil tillade slutbrugere at filtrere data interaktivt, kan du tilføje kontrol widgets - særlige elementer i instrumentbrættet, som gør det muligt at filtrere de data, blot ved at klikke på dem.

En anden funktion, jeg gerne vil fremhæve, er avanceret filtrering efter datoer og muligheden for at indstille tidsintervaller til opdatering af dataene i instrumentbrættet.

Den gode ting er, at visualiseringer kan genbruges . Når du har oprettet det, kan du gemme dit resultat og tilføje det til dashboardet når som helst samt dele med dine kolleger, forudsat at de har adgang til din Kibana-forekomst.

Når du har arrangeret alle visualiseringselementerne på en enkelt side, kan du eksportere det endelige dashboard til PNG- eller PDF- format. Dette gør dashboards bærbare - det er let at dele dem på tværs af afdelinger på ingen tid.

Lad os se på et eksempel på det dashboard, du kan oprette:

Efter min mening er de vigtigste funktioner, der gør hvert instrumentbræt specielt, interaktivitet og udtryksevne . Med det kan du kommunikere forretningsmålinger effektivt.

Personligt indtryk

Visualiseringerne i Kibana udfører ideelt de opgaver, de er designet til. Hvad mere er, alle visualiseringer er iøjnefaldende, og du kan skræddersy dem efter dine designideer. Hele processen med at oprette et dashboard i Kibana er beregnet til at være hurtig og effektiv - og det skyldes Kibana's brugervenlige og intuitive grænseflade.

På den anden side har jeg følt, at der mangler en vis funktionalitet her.

Når man arbejder med data, en af de effektive sonderende teknikker, du kan anvende, er udskæring og afpudses dine data, før at få at vide, hvilke aspekter af data at være opmærksom på. Efter min mening er datatabellwidgeten ikke den bedste mulighed - den præsenterer dataene i en flad tabel, der ikke understøtter en flerdimensionel visning af dataene. Men at lege med data skal ske interaktivt og hurtigt.

Og det er her, en drejebordskontrol kommer i spil. Efter at have søgt efter tilgængelige løsninger faldt mit valg på et open source plugin kaldet Flexmonster. Det håndterer tilslutning til Elasticsearch-indekset og giver mulighed for at oprette tabelrapporter baseret på dataene fra dets dokumenter. Sammen med det er integration med Kibana glat - det eneste, der kræves for at komme i gang, er at installere et plugin ved at køre en linje med kode på kommandolinjen. Du kan finde flere detaljer på GitHub. Før du bruger det, anbefaler jeg, at du sørger for, at dine Kibana- og Elasticsearch-forekomster er af samme version.

Når du har oprettet et værktøj, er du klar til at bruge alle tilgængelige funktioner til at søge i dybdegående indsigt.

Funktioner til analyse og rapportering

Flexmonster Pivot giver hurtig adgang til den mest vigtige rapporteringsfunktionalitet. Dens værktøjslinje giver mulighed for at oprette forbindelse til datakilden, indlæse tidligere gemte rapporter, eksportere rapporter til PDF , Excel , HTML , CSV og billeder. Desuden er det lykkedes mig hurtigt at skifte mellem to forskellige tilstande - nettet og kortene. Celleformateringsmuligheder inkluderer betinget og nummerformatering . Feltlisten fortjener særlig opmærksomhed - her kan du vælge hierarkier til rækker, kolonner, målinger og rapportfiltre. Der er også søgefeltet, som er nyttigt, hvis indekset har en lang liste med felter.

En af de funktioner, jeg gerne vil fremhæve, er muligheden for at trække og slippe hierarkierne lige på nettet. Dermed kan du ændre skiven fuldstændigt via brugergrænsefladen.

En anden er drill-through- funktionen - det hjælper med at vide, hvilke poster der ligger bag de samlede værdier.

Arbejde med et drejebord

Lad mig vise dig, hvordan du opretter en rapport baseret på data fra Elasticsearch:

Under test af værktøjet er det lykkedes mig at samle og filtrere dataene, sortere værdierne på nettetog gem resultaterne for at fortsætte arbejdet med rapporten senere. Desuden fungerer eksport godt - det er nemt at dele rapporterne med holdkammerater.

At bringe det hele sammen

I dag har jeg dækket fordelene, som Kibana giver til visualisering af Elasticsearch-data. Du har været i stand til at sikre dig, hvordan dashboards kan styrke analyseprocessen.

Efter min mening er en pivottabel et godt værktøj, der giver dig mulighed for at drage fordel af at udforske data, før du driller ud svarene på komplekse spørgsmål.

Flexmonster supplerer pænt den tilgængelige funktionalitet i Kibana - de rapporter, du opretter med det, er indsigtsfulde, tilpasses og kan let deles på tværs af afdelinger.

Arbejdet sammen har begge værktøjer alt potentialet til at øge din historiefortælling.

Jeg opfordrer dig til at prøve en sådan kombination.

Hvad er det næste?

  • Rapportering med Kibana
  • Oprettelse af en visualisering i Kibana
  • Pivottabel til elastiksøgning
  • Sådan tilføjes et drejetabel til Kibana