dimensiunea subiectului kafka

1. Ce este dimensiunea subiectului în Kafka?
2. Cum determinați dimensiunea unui subiect Kafka?
3. Cum măresc dimensiunea subiectului Kafka?
4. Câte subiecte Kafka sunt prea multe?
5. De ce este folosit Kafka?
6. Care sunt subiectele Kafka?
7. Cum obțin o listă de subiecte Kafka?
8. Cât durează mesajele Kafka?
9. Cum vizualizez mesajele Kafka?
10. Kafka este lent?
11. Câte partiții Kafka ar trebui să am?
12. De unde știu dacă Kafka rulează?

Ce este dimensiunea subiectului în Kafka?

Aceasta returnează dimensiunea (în octeți) a testului subiectului, inclusiv replicile sale. În cazul în care aveți un factor de replicare mai mare de 1 și doriți dimensiunea mesajului subiect unic, împărțiți valoarea obținută cu factorul de replicare.

Cum determinați dimensiunea unui subiect Kafka?

5 Răspunsuri. După cum a menționat foarte util Martbob, puteți face acest lucru folosind kafka-log-dirs. Aceasta produce ieșire JSON (pe una dintre linii). Așa că pot folosi instrumentul jq, atât de util, pentru a extrage câmpurile „dimensiune” (unele sunt nule), selectați doar cele care sunt numere, grupați-le într-o matrice și apoi adăugați-le împreună.

Cum măresc dimensiunea subiectului Kafka?

Cum se mărește dimensiunea înregistrării în subiectul clusterului Kafka

1. Sunt server.proprietăți și consumator.proprietăți din același folder? - berrytchaks 12 mai 17 la 13:07.
2. Da, server.proprietăți și consumator.proprietățile sunt în același folder. - ...
3. Puneți ambele fișiere în diferite foldere și încercați. - ...
4. Cu același folder pentru proprietățile serverului și a consumatorilor care lucrează pentru mine acum.

Câte subiecte Kafka sunt prea multe?

Regula generală este că numărul de subiecte Kafka poate fi în mii. Jun Rao (Kafka committer; acum la Confluent, dar a fost anterior în echipa Kafka a lui LinkedIn) a scris: La LinkedIn, cel mai mare cluster al nostru are mai mult de 2K subiecte. 5K subiecte ar trebui să fie bine.

De ce este folosit Kafka?

Mesagerie. Kafka funcționează bine ca înlocuitor pentru un broker de mesaje mai tradițional. Brokerii de mesaje sunt folosiți din mai multe motive (pentru a separa procesarea de producătorii de date, pentru a memora mesaje neprocesate etc.).

Care sunt subiectele Kafka?

Kafka organizează fluxurile de mesaje în categorii numite subiecte. Fiecare subiect are un nume unic în întregul cluster Kafka. Mesajele sunt trimise și citite din subiecte specifice. Cu alte cuvinte, producătorii scriu date pe subiecte, iar consumatorii citesc date din subiecte. Subiectele Kafka sunt cu mai mulți abonați.

Cum obțin o listă de subiecte Kafka?

1. Pentru a porni kafka: $ nohup ~ / kafka / bin / kafka-server-start.sh ~ / kafka / config / server.proprietăți > ~ / kafka / kafka.jurnal 2>&1 &
2. Pentru a enumera toate subiectele de pe kafka; $ bin / kafka-topics.sh --list --zookeeper localhost: 2181.
3. Pentru a verifica datele aterizează pe subiectul kafka și pentru a le imprima;

Cât durează mesajele Kafka?

Clusterul Kafka păstrează toate mesajele publicate - indiferent dacă au fost sau nu consumate - pentru o perioadă de timp configurabilă. De exemplu, dacă păstrarea jurnalului este setată la două zile, atunci pentru cele două zile după publicarea unui mesaj, acesta este disponibil pentru consum, după care va fi aruncat pentru a elibera spațiu.

Cum vizualizez mesajele Kafka?

Puteți utiliza Kafka-console-consumer pentru a vă vizualiza mesajele.
...
Procedură

1. Conectați-vă la consola IBM Event Streams.
2. Selectați Subiect > ibm-bai-ingress > Mesaje.
3. Selectați o dată.
4. Mesajele sunt listate în funcție de mărcile de timp.

Kafka este lent?

Kafka se bazează pe sistemul de fișiere pentru stocare și cache. Problema este că discurile sunt mai lente decât memoria RAM. Acest lucru se datorează faptului că timpul de căutare printr-un disc este mare în comparație cu timpul necesar pentru citirea efectivă a datelor.

Câte partiții Kafka ar trebui să am?

Pentru majoritatea implementărilor, doriți să urmați regula generală de 10 partiții pe subiect și 10.000 de partiții pentru fiecare cluster Kafka. Trecerea dincolo de această sumă poate necesita monitorizare și optimizare suplimentară.

De unde știu dacă Kafka rulează?

Aș spune că o altă opțiune ușoară pentru a verifica dacă rulează un server Kafka este să creați un KafkaConsumer simplu care să arate spre cluste și să încercați o acțiune, de exemplu, listTopics (). Dacă serverul kafka nu rulează, veți obține o excepție TimeoutException și apoi puteți utiliza o propoziție try-catch.