hold_on_never_leave
Senior Member
nó là mấy cái NoSQL đó thôi , đọc thì đang hiểu là fen muốn cho sql thì đọc thử CockroachDB, TiDB, 2 cái này chưa dùng mấy nên nhờ các fen khác vào review
thảo luận Hội Dev 35 đi phỏng vấn tìm việc.
- Người tạo chủ đề Kaiser2013
- Ngày bắt đầu
canh_1412
Senior Member
phình về cấu trúc là sao
Có case study của notion đây. tưởng shard dễ lắm ah.
Herding elephants: lessons learned from sharding Postgres at Notion
With an effort to make Notion faster and more reliable for years to come — we migrated Notion’s PostgreSQL monolith into a horizontally-partitioned database fleet.
condao
Senior Member
có hết rồi, có tiền ko
Boss Lacotes
Senior Member
ý là thêm schema , table , cột , khóa ... ấy thím , kiểu mình ngồi phía trên , tạo bảng , tạo schema , bọn bên dưới tự tính toán để shard , tự thực thi mấy cái kỹ thuật để phân tán , em nghĩ nếu đc vậy thì ngon , hiện giờ vẫn phải tự làm dựa trên tình hình của ứng dụng và nghiệp vụ của ứng dụngphình về cấu trúc là sao
Có case study của notion đây. tưởng shard dễ lắm ah.
Herding elephants: lessons learned from sharding Postgres at Notion
With an effort to make Notion faster and more reliable for years to come — we migrated Notion’s PostgreSQL monolith into a horizontally-partitioned database fleet.www.notion.com
Boss Lacotes
Senior Member
giá khá chát
devaslife
Senior Member
Thì thực tế có ai bắt dev lo mấy phần này đâu bạn, hay dự án nhỏ quá không có cloud engineer, devops, infra team, nếu vậy thì đâu cần tính workload cho nó cao siêu làm gì.
Còn mấy cái bạn nói thì cloud nó lo hết rồi, db replicate, read write riêng hết từ đời nào rồi. Còn chỗ chia db theo service thì quá mơ hồ, sao bạn ko tính đúng con loadbalancer tạch đi cho nhanh
buitruong1689
Senior Member
side project mà thuê hẳn VPS $50/m có lãng phí quá không
Tôi cũng làm cái web app mà còn đang lăn tăn con vps ~$8/m liệu có thừa thãi quá không đây. Lúc đầu cũng xác định làm gì có users đâu mà.
Kaiser2013
Senior Member
FE với mobile thì học thêm gì bạn.
small-lambda
Senior Member
SSD vẫn bị fragmentation nha pạng
hmmmmmmmmmmm
Senior Member
SSD bị fragment thì ảnh hưởng gì bạn?
small-lambda
Senior Member
vì có fragmentation nên vẫn có thể cần defrag, chỉ là trên SSD thì không nên defrag chứ không phải là không cần nha pạng
small-lambda
Senior Member
không nên làm nhiều
The real and complete story - Does Windows defragment your SSD?
There has been a LOT of confusion around Windows, SSDs (hard drives), and ...
www.hanselman.com
thisismyfirstclone
Senior Member
DB lúc perform writes cũng không write thẳng vào đĩa mà buffer vào memory trước rồi lúc sau mới ghi vào đĩa. Thế nên DB mới có khái niệm Write-Ahead Log (dùng để revert khi có sự cố). Ví dụ của mysql là redo log.
MySQL :: MySQL 8.4 Reference Manual :: 17.6.5 Redo Log (https://dev.mysql.com/doc/refman/8.4/en/innodb-redo-log.html)
Việc hiểu buffer writes là để đọc hiểu db on-disk structures
MySQL :: MySQL 8.4 Reference Manual :: 17.6 InnoDB On-Disk Structures (https://dev.mysql.com/doc/refman/8.4/en/innodb-on-disk-structures.html)
"The doublewrite buffer is a storage area where InnoDB writes pages flushed from the buffer pool before writing the pages to their proper positions in the InnoDB data files."
Khi commit transaction, db không commit thẳng xuống đĩa mà vẫn buffer writes. Vì việc commit thẳng xuống đĩa làm tăng số lượng writes -> giảm I/O throughput.
Ví dụ: peak throughput: 1 write ghi được 100MB -> 100MB/write, khi số lượng writes tăng lên, 2 writes để ghi 100MB -> 50MB/write -> chỉ đạt được 1 nửa throughput của peak.
Không ai viết db thì ông lấy đâu ra ứng dụng db mà dùng?
Fragmentation là khi mà dữ liệu của một file bị nằm rải rác trên nhiều blocks. Trước đây bị fragmentation là do file system không quản lý blocks tốt. Nếu như bây giờ ông dùng SSD nhưng vẫn dùng một file system ngày xưa thì vẫn bị fragmentation.
Nếu không muốn đọc mấy cái "tào lao" thì ít nhất cũng phải đọc mấy cái documentation này chứ. Hay là đến lúc làm lại đi hỏi chatgpt? Đến lúc nó chỉ sai thì lại khóc lóc?
Sửa lần cuối:
hmmmmmmmmmmm
Senior Member
Ok chấp nhận mình sai, SSD vẫn bị ảnh hưởng bởi fragmentationkhông nên làm nhiều
The real and complete story - Does Windows defragment your SSD?
There has been a LOT of confusion around Windows, SSDs (hard drives), and ...
Yes, file system fragmentation DOES affect SSD read speed
Common knowledge is that file system fragmentation is not an issue on SSDs, because they're so fast. This is not entirely correct. Every time a non-contiguous LBA range is addressed by the operating system, a new I/O command must be sent by the Operating System (Host) to the SSD, resulting in a...
MrStar1102
Member
Một đóng góp nho nhỏ của mình về comment của bác
Không rõ là bác đang gom 2 cái là 1 hay là tách biệt nhưng đúng là khi write xuống disk, DB có buffer vào memory, cụ thể là Doublewrite Buffer, nhưng nó không phải là WAL -> WAL được ghi từ lúc commit. DoublewriteBuffer mục đích chính là tránh torn page, reduce IO có lẽ là benefit "đi kèm".
Sửa lần cuối:
thisismyfirstclone
Senior Member
Bạn nói đúng. Nhưng chính vì buffer writes nên phải có một cái là WAL. Để nếu chẳng may mà bị crash mà dữ liệu từ buffer chưa được ghi vào đĩa, thì lúc khởi động lại, db sẽ nhìn vào WAL để mà recover.
Đoạn recover sẽ chỉ là những đoạn chưa được ghi vào đĩa. Nếu không thì chẳng có cách nào để mà recover cả. Còn không thì recover trong trường hợp này có ý nghĩa gì? Recover lại data đã có sẵn trong đĩa?
Có lẽ lần sau mình sẽ cố gắng ghi rõ ràng hơn. Mình không có ý định dạy dỗ hay chỉ bảo ai cả, đây chỉ là những kiến thức mà mình học hỏi được và mong muốn được share nó, như là một cách học vậy.
Sửa lần cuối:
small-lambda
Senior Member
nếu các pạng đọc textbook dạy DBMS thì sẽ thấy là:
- WAL là một cái log ghi chú thay đổi data, nó là một cái file trong disk
- DB không ghi thẳng vào trong WAL file mà sẽ đi thông qua một cái in-memory cache của file đó, cụ thể cache này lưu một tập hợp các page của file WAL
- cái cache đó người ta gọi là WAL buffer, có thể nghĩ nó là một dạng write buffer
- nội dung của bảng cũng là file trong disk
- khi viết vào bảng thì cũng có cơ chế cache tương tự, viết vào cache rồi đi flush
- cái cache này được gọi là buffer pool, nội dung chứa là page của mấy cái file của bảng, và pạng cũng có thể nghĩ nó là một dạng write buffer
small-lambda
Senior Member
Ok chấp nhận mình sai, SSD vẫn bị ảnh hưởng bởi fragmentation
Yes, file system fragmentation DOES affect SSD read speed
Common knowledge is that file system fragmentation is not an issue on SSDs, because they're so fast. This is not entirely correct. Every time a non-contiguous LBA range is addressed by the operating system, a new I/O command must be sent by the Operating System (Host) to the SSD, resulting in a...www.overclock.net
small-lambda
Senior Member
mấy bạn làm ơn đừng xl dăm ba cái DB internals nữa được không, mình nói thẳng là mình đéo thấy có gì lq tới cái topic hết
MrStar1102
Member
Ý bác là doublewrite buffer? Nếu vậy thì mình nghĩ cái này không đúng. WAL là tận dụng tốc độ sequential write để tăng tốc độ write ( commit) của DB. Tuy vậy không phải vì doublewrite buffer nên phải có WAL, vì WAL xảy ra trước.
Doublewrite buffer xảy ra sau này, khi cần flush dirty innodb pages xuống disk, ở đây dirty pages được gom lại vào một buffer -> ghi xuống disk sequentially block -> sau đó mới write tiếp đến đúng vị trí page trên disk. Doublewrite buffer lúc này dùng để recovery torn page, những chỗ "sau đó mới write tiếp đến đúng vị trí page trên disk" mà lỗi.
Chủ đề tương tự
