showmethemoney
Đã tốn tiền
Nếu làm ứng dụng tài chính thì có thể dùng Chronicle. Theo một số nguồn mình tìm hiểu thì perf ăn đứt Kafka. Có 1 case study là Binance dùng Chronicle làm queue để xử lý lượng giao dịch khổng lồ của mình.
thảo luận Nên chọn message queue nào
- Người tạo chủ đề chetdoi89
- Ngày bắt đầu
minhhien1996
Senior Member
hóng 
Arishem the Judge
Junior Member
n bỏ rồi mà
the_ruler
Đã tốn tiền
Hài phết, sau đợt trả lời trên này thì mình sang một bên có Kafka làm EBS luôn cho toàn bộ system 
))
Tiếc là chưa làm bên này được lâu thì nghỉ mất rùi
via theNEXTvoz for iPhone
))Tiếc là chưa làm bên này được lâu thì nghỉ mất rùi
via theNEXTvoz for iPhone
LCherry
Senior Member
Chất lượng quá thím, đã noteUse-case thì bạn có thể đọc engineering blog của các công ty event-drive như Grab, Gojek, User, Lift, AirBnB, Netflix ... hoặc nhảy thẳng vào kafka-summit mà xem nha
Vài ví dụ:
....
- Grab: https://engineering.grab.com/optimally-scaling-kafka-consumer-applications
- Gojek: https://blog.gojekengineering.com/tagged/kafka
- Uber: https://eng.uber.com/kafka/
- Kafka-summit: https://kafka-summit.org/
Book thì có thể bắt đầu với cuốn Kafka: The Definitive Guide của Confluent, mình thấy khá dễ hiểu và gần gũi với thực tế.
Edit: Ở VN thì mình biết có mấy bên cũng chơi hệ thống có Kafka ở core, tiếc là mấy cái slide trong mấy cái conference không thấy share
LCherry
Senior Member
Mấy thím trên đã nói gần hết rồi, mình bổ sung vài ý nữa thôi:
Về technical Objectives:
Bổ sung cái bảng này nữa
Đại khái RabbitMQ sẽ khó hỗ trợ thím ordering (nhớ các version về sau có hỗ trợ nhưng khá là tricky), Kafka thì support ordering theo parittion. Về mặt gurantees khi delivery thì Kafka sẽ tốt hơn vì nó dạng log, nghĩa là thím chỉ commit offsets khi read chứ message không bị xóa đi. Nó sẽ xóa theo default 7 ngày, cái này gọi là Retention (tham khảo bài này nha thím Retention Medium).
Về Use cases:
RabbitMQ sẽ dành cho các trường hợp như các thím trên đã nói, đại khái nó là long running task đó, ngoài ra ví dụ cần hỡ trợ các protocols cũ như STOMP, MQTT, AMQP, 0-9-1, các loại routing phức tạp như Fan-out, direct, ... delay message.
Còn đối với các system lớn, traffic nhiều, integration phức tạp giữa các service thì nên dùng Kafka.
Về technical Objectives:
- RabbitMQ thuộc về loại vertical scaling, còn Kafka là horizontal scaling
- RabbitMQ thường phục vụ các long-running task, còn Kafka theo dạng deliver sensitive data, task, streaming with high throughput.
Bổ sung cái bảng này nữa
Đại khái RabbitMQ sẽ khó hỗ trợ thím ordering (nhớ các version về sau có hỗ trợ nhưng khá là tricky), Kafka thì support ordering theo parittion. Về mặt gurantees khi delivery thì Kafka sẽ tốt hơn vì nó dạng log, nghĩa là thím chỉ commit offsets khi read chứ message không bị xóa đi. Nó sẽ xóa theo default 7 ngày, cái này gọi là Retention (tham khảo bài này nha thím Retention Medium).
Về Use cases:
RabbitMQ sẽ dành cho các trường hợp như các thím trên đã nói, đại khái nó là long running task đó, ngoài ra ví dụ cần hỡ trợ các protocols cũ như STOMP, MQTT, AMQP, 0-9-1, các loại routing phức tạp như Fan-out, direct, ... delay message.
Còn đối với các system lớn, traffic nhiều, integration phức tạp giữa các service thì nên dùng Kafka.
LCherry
Senior Member
Đối với mấy thím làm Big Data chắc cũng không lạ cái hình này nhỉ, nó là 1 dạng streaming data của hệ thống sang data Warehouse rồi xử lý Big data để analyze. Chỉ biết là nếu consume trực tiếp từ Kafka thì khả năng slow down performance của Kafka xuống nên cần streaming data sang 1 storage khác, như hình là thằng AWS S3, thím nào làm DBA thì bổ sung cho mình nào.
martin98
Senior Member
Hiếm lắm mới thấy có 1 người nhắc đến bọn Chronicle này. Mà em tưởng cái Chronicle-queue này là để các process trong 1 service giao tiếp với nhau chứ nhỉ. Bác có thể chia sẻ thêm được ko, công nghệ này ít tài liệu quá.
doivothuongqua
Junior Member
Ở đây có bác nào contribute vào Apache Kafka chưa nhỉ, mọi người thấy tương lai của Apache Kafka thế nào ạ? Có sống tốt trong cỡ 10-15 năm tới không nhỉ? Sự phát triển của SaaS, IaaS đôi khi cũng làm cho OSS giờ cũng ít contribute hẳn ra.
PhantomAtula
Senior Member
Chào các bác, em đang tìm hiểu Kafka và có biết về use_case getTaxi này, bác nào giúp em hiểu rõ hơn Kafka stream(Surge Pricing model) nó là gì và sử dụng công nghệ nào đc k ạ
Thank các bác nhiều
Thank các bác nhiều
ngorung1
Junior Member
Thằng này chắc tiếp bước con đường của ScyllaDB: Kiếm một thằng java ngon lành clone bằng C++ theo kiểu hardcore để target vài con cá mập là ấm!Dạo này thấy có bên bắt đầu dùng Redpanda, API compatibility với Kafka
Enterprise mua service bọn nó thì ok chứ kiểu hardcore này ông nào không đủ lực theo là mệt … hoặc điếc không sợ súng cũng có cái hay
)Chronicle là dạng brokerless, phải xếp nó cùng loại với ZeroMQ, NanoMQ, NNG chứ không so với các loại broker được
RPG29
Đã tốn tiền
Bây giờ có trend port project từ Java -> C++/Rust, thằng nào cũng quảng cáo performance tăng xx lần, resource usage giảm xx lần. Nói chung cũng tốt thêm sự lựa chọnThằng này chắc tiếp bước con đường của ScyllaDB: Kiếm một thằng java ngon lành clone bằng C++ theo kiểu hardcore để target vài con cá mập là ấm!
Enterprise mua service bọn nó thì ok chứ kiểu hardcore này ông nào không đủ lực theo là mệt … hoặc điếc không sợ súng cũng có cái hay
Chronicle là dạng brokerless, phải xếp nó cùng loại với ZeroMQ, NanoMQ, NNG chứ không so với các loại broker được
gaconkute
Senior Member
why bác
gaconkute
Senior Member
đồng ý anh, hỏi là 1 thứ tốt, em ở công ty khuyến khích bọn fresher junior hỏi mà có cháu nào hỏi đâu
martin98
Senior Member
+ 1 đồng ý
vietacoustic
Senior Member
Đánh chứng thua quá lại vác phím đi culi ah anh bò húc
. Có project thì ới tôi với nha, lõm quá rồi.Chủ đề tương tự
