大数据生态圈kafka在物联网中的应用测试

背景

由物联网项目中使用到了Tbox应用管理车辆，在上报数据的过程中，需要将终端产生的数据通过kafka的produce topic customer对数据进行处理后，放置到mysql中。完成数据二进制到json转换工作。

Kafka的使用

查看kafka的top服务器托管网ic

./kafka-topics –bootstrap-server 10.1.9.84:9092 –list

查看topic信息

./kafka-topics –bootstrap-server 10.1.9.84:9092 –describe –topic topic_example_1

创建topic 创建topic名为test，分区数为8，副本数为1

./kafka-topics.sh –create –zookeeper 10.128.106.52:2181 –topic test –partitions 8 –replication-factor 1

修改topic

./kafka-topics.sh –zookeeper 10.128.106.52:2181 -alter –partitions 12 –topic test

删除topic

./kafka-topics.sh –zookeeper 10.128.106.52:2181 –delete –topic test

消费者

kafka-console-consumer.sh –bootstrap-server服务器托管网 10.1.9.84:9092 –topic topic_example_1

消费者-group

./kafka-consumer-groups.sh –bootstrap-server 10.1.9.84:9092 –list

消费者-指定group

./kafka-consumer-groups.sh –bootstrap-server 10.1.9.84:9092 –group ai-trace –describe

生产者

kafka-console-producer.sh –broker-list 10.1.9.84:9092 –topic topic_example_1

查看消费者性能

./kafka-consumer-perf-test.sh –broker-list 10.1.9.84:9092 –messages 500000

–topic test-topic

查看生产者性能

./kafka-producer-perf-test.sh –topic test-topic –num-records 500000

–record-size 200 –throughput -1 –producer-props bootstrap.servers=10.1.9.84:9092 acks=-1

kafka关键要素

produce topic customer

生产者

kafka-console-producer.sh –broker-list 10.1.9.84:9092 –topic topic_example_1

消费者

kafka-console-consumer.sh –bootstrap-server 10.1.9.84:9092 –topic topic_example_1

kafka在jmeter 中的使用

1. kafka_brokers
2. Kafka_topic
3. Kafka_meassage

以上三个属性对于kafka来讲都很重要

消费者

kafka-console-consumer.sh –bootstrap-server 10.1.9.84:9092 –topic topic_example_1

kubectl中查看指定pod的日志

找到指定应用

Kubectl get pods -n cdb | grep dst(pods名称)

查看日志工具

kubectl logs -n cdb guoyin-dst-gianhai-netty-time-cdb-92-644c895b8d-bnnw2

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: MyBatis的常用动态标签

1、 select eid,ename,age,sex,did from emp 2、 where eid = #{eid} 3、, , select eid,ename,age,sex,did from emp and eid = #{eid} and en…