Try the following in the shell, it will iterate each item within a collection and try to match each document based on ID. Say we have 2 collections > compareCollection(db.col1, db.col3)
false
7 and > compareCollection(db.col1, db.col3)
false
8:> db.col1.find()
{ "_id" : 1, "item" : 1 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
> db.col2.find()
{ "_id" : 1, "item" : 1 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
We can then create a javascript function to compare 2 collections function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
Then call is like the following: > compareCollection(db.col1, db.col2)
true
If we then have a 3rd collections > compareCollection(db.col1, db.col3)
false
9> db.col3.find()
{ "_id" : 1, "item" : 1 }
And compare this one > compareCollection(db.col1, db.col3)
false
we'll get the expected result. If we also have a 4th collection which has matching documents but diffrent data > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
0> db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
This will also return > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
1> compareCollection(db.col1, db.col4)
false
Một số định nghĩa trước khi đi sâu về MongoDB. Đây là một cross-platform, DB hướng documents với hiệu năng cao, có thể đáp ứng cho đa dạng các hệ thống và dễ dàng để scale. Tư tưởng của MongoDB là thông qua khái niệm collection và document. Vì không tìm được từ tiếng việt hay ho hơn nên tạm thời cho phép mình giữ nguyên các khái niệm tiếng anh của 2 thuật ngữ này. DatabaseDatabase là một container vật lý cho các collection. Mỗi DB được thiết lập cho riêng nó một danh sách các files hệ thống files. Một máy chủ MongoDB đơn thường có nhiều DB. CollectionCollection là một nhóm các documents của MongoDB. Nó tương đương với một table trong RDBMS. Một Collection tồn tại trong một cơ sở dữ liệu duy nhất. Các collection ko tạo nên một schema. Documents trong collection có thể có các fields khác nhau. Thông thường, tất cả các documents trong collections có mục đích khá giống nhau hoặc liên quan tới nhau DocumentMột document là một tập hợp các cặp key-value. Documents có schema động. Schema động có nghĩa là documents trong cùng một collection không cần phải có cùng một nhóm các fields hay cấu trúc giống nhau, và các fields phổ biến trong các documents của collection có thể chứa các loại dữ liệu khác nhau. Bảng dưới đây cho thấy mối quan hệ của các thuật ngữ RDBMS với MongoDB Một số cân nhắc khi thiết kế schema trong MongoDBThiết kế schema dựa trên yêu cầu của user Kết hợp các object vào một document nếu bạn sử dụng chúng với nhau. Nếu không thì tách riêng hẳn nó ra (nhưng cần phải chú ý là sau này nó sẽ không phải joins). Duplicate dữ liệu (nhưng có giới hạn) vì không gian đĩa là quá rẻ so với tốc độ xử lý. joins khi write, không joins khi read. Tối ưu schema cho hầu hết các case sử dụng thông thường Tập hợp các nhóm phức tạp vào schema
Ví dụ : Giả sử là một khách hàng cần một thiết kế DB cho blog của anh ta và cân nhắc sự khác biệt schema giữa RDMS và MongoDB. Web sẽ có những yêu cầu sau : - Mọi post có unique title, description và url.
- Mọi post có thể có 1 hoặc nhiều tags.
- Mọi post có name của publisher và số lượng người xem likes
- Mọi post có comments bới một user với name, message, data-time và likes.
- Mỗi postc có thể có 0 hoặc nhiều comments.
Trong thiết kế schema của RDBMS chúng ta sẽ có như sau về post và comments và tags. While in MongoDB schema design will have one collection post and has the following structure: Trong khi đó ở MongoDB schema, chúng ta sẽ có thiết kế một collection post và có cấu trúc như sau : {
_id: POST_ID
title: TITLE_OF_POST,
description: POST_DESCRIPTION,
by: POST_BY,
url: URL_OF_POST,
tags: [TAG1, TAG2, TAG3],
likes: TOTAL_LIKES,
comments: [
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
},
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
}
]
}
Để show 1 post RDBMS cần phải join 3 bảng trong khi MongoDB chỉ cần lấy ra từ một collections. Nói đến đây nhiều bạn chú ý đừng thần tượng MongoDB quá nhé. Tháng sau mình sẽ viết 1 bài về so sánh hiệu năng với hàng triệu bản ghi giữa MySQL và NoSQL. MongoDB - Create/Drop DatabaseMột số lệnh liên quan đến Database use DATABASE_NAME
Ví dụ >use duongdb
switched to db duongdb
Check đang sử dụng DB nào function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
0show danh sách các DB trong server. function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
1DB của bạn vừa mới create ko có ở đây. bạn phải insert một documents về nó vào list. function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
2Drop DB function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
3MongoDB - Create/Drop CollectionDưới đây là syntax để tạo một Collection function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
4> db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
2 thì sẽ yêu cầu phải là một string. Trong khi đó mục > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
3 thì chứa khá nhiều thông số về : > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
4, > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
5, > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
6 , > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
7.> db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
4 là một tập hợp các collection có size fixed và tự động viết đề lên các entries cũ của nó khi chạm đến max size. Nếu bạn cho nó true thì bạn phải điền > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
6 với lại > db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
7> db.col4.find()
{ "_id" : 1, "item" : 10 }
{ "_id" : 2, "item" : 2 }
{ "_id" : 3, "item" : 3 }
{ "_id" : 4, "item" : 4 }
5 sẽ tự động tạo một index trên biến > compareCollection(db.col1, db.col4)
false
2 Mặc định giá trị này là false.và syntax để drop một collection function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
5Ví dụ nhé : function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
6Trong MongoDB thì bạn ko nhất thiết phải tạo collection. Bọn này sẽ tự động tạo collection cho bạn khi bạn insert một documents. function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
7Đây là ví dụ drop function compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
8Kiểu dữ liệu- String: String trong MongoDB phải là UTF-8 hợp lệ.
- Integer: Số nguyên có thể là 32 bit hoặc 64 bit tùy thuộc vào máy chủ của bạn.
- Boolean
- Double
- Min/ Max keys: Loại này được sử dụng để so sánh giá trị đối với các yếu tố thấp nhất và cao nhất BSON.
- Array
- Timestamp
- Object
- Null
- Symbol
- Date
- Object ID
- Binary data
- Code
- Regular expression
MongoDB - DocumentInsert một Documentfunction compareCollection(col1, col2){
if(col1.count() !== col2.count()){
return false;
}
var same = true;
var compared = col1.find().forEach(function(doc1){
var doc2 = col2.findOne({_id: doc1._id});
same = same && JSON.stringify(doc1)==JSON.stringify(doc2);
});
return same;
}
9Ví dụ > compareCollection(db.col1, db.col2)
true
0Nếu bạn muốn insert nhiều documents trong một lệnh, bạn cần cho array vào trong lệnh > compareCollection(db.col1, db.col4)
false
3.> compareCollection(db.col1, db.col2)
true
1Lệnh tìm kiếm > compareCollection(db.col1, db.col2)
true
2Để hiện thể kết quả đẹp hơn. Bạn có thể dùng thêm phương thức > compareCollection(db.col1, db.col4)
false
4> compareCollection(db.col1, db.col2)
true
3Cách sử dụng find AND trong MongoDB > compareCollection(db.col1, db.col2)
true
4Cách sử dụng find OR trong MongoDB > compareCollection(db.col1, db.col2)
true
5Dưới đây là một ví dụ sử dụng cả AND và OR trong MongoDB > compareCollection(db.col1, db.col2)
true
6Tiếp đến là lệnh UPDATE> compareCollection(db.col1, db.col2)
true
7Giá sử dữ liệu ban đầu của bạn là như thế này > compareCollection(db.col1, db.col2)
true
8Sau khi chạy > compareCollection(db.col1, db.col2)
true
9Bạn sẽ nhận được kết quả như sau > db.col3.find()
{ "_id" : 1, "item" : 1 }
0Bạn có thể update nhiều documents bằng cach truyền một param 'multi' cho nó true > db.col3.find()
{ "_id" : 1, "item" : 1 }
1Lệnh SAVECú pháp của lệnh này như sau > db.col3.find()
{ "_id" : 1, "item" : 1 }
2Dưới đây là ví du > db.col3.find()
{ "_id" : 1, "item" : 1 }
3khi bạn chạy đoạn này phần dữ liệu của documents có ID > compareCollection(db.col1, db.col4)
false
5 sẽ bị thay thế như sau> db.col3.find()
{ "_id" : 1, "item" : 1 }
4Lệnh REMOVELệnh này khá đơn giản. Các bạn tự tìm hiểu thêm nhé. MongoDB - ProjectionTrong mongodb, projection có nghĩa là bạn chỉ cần chọn những dữ liệu cần hthieets thay vì select hết mọi dữ liệu của documents. Nó khác find trong find Collection ở chỗ là find thì tìm kiếm dữ liệu document trong collection. Còn khía niệm này sẽ tìm kiếm kết quả fields trong documents. ví dụ bạn cần hiển thị 3 fields kết quả trong 5 fields của một documents. syntax của lệnh tìm kiếm này sẽ là > db.col3.find()
{ "_id" : 1, "item" : 1 }
5Ví dụ dữ liệu hiện tại của bạn như sau : > compareCollection(db.col1, db.col2)
true
8Bạn chỉ cần muốn hiển thị mỗi title thôi. Hãy làm như sau > db.col3.find()
{ "_id" : 1, "item" : 1 }
7Rất đơn giản phải ko ! MongoDB - Limit RecordsĐể giới hạn số lượng records trong MongoDB, bạn sẽ dùng phương thức limit(). Limit() sẽ chấp nhận số lượng record giới hạn thông qua argument mà bạn truyền vào. Nó sẽ thể hiện số lượng documents bạn muốn hiển thị. > db.col3.find()
{ "_id" : 1, "item" : 1 }
8Sử dụng ví dụ ở Projection ở trên chúng ta có ví dụ sau > db.col3.find()
{ "_id" : 1, "item" : 1 }
9Ngoài ra có lệnh skip() cho phép bạn bỏ qua 1 giá trị document. > compareCollection(db.col1, db.col3)
false
0MongoDB - Sort RecordsĐể sort các document trong MongoDB, bạn cần phải sử dụng sort(). sort() cho pehsp một document trong chứa các fields theo thứ tự order. có 2 loại thứ tự, 1 sẽ tương đương với ascending và -1 sẽ tương đương với descending. > compareCollection(db.col1, db.col3)
false
1MongoDB - IndexingIndex hỗ trợ độ phân tích một cách hiệu quả các truy vấn. Nếu không có chỉ mục, MongoDB sẽ phải quét tất cả các documents của collection để chọn ra những document phù hợp với câu truy vấn. Quá trình quét này là không hiệu quả và yêu cầu MongoDB để xử lý một khối lượng lớn dữ liệu. Index là những cấu trúc dữ liệu đặc biệt, dùng để chứa một phần nhỏ của các tập dữ liệu một cách dễ dàng để quét. Chỉ số lưu trữ giá trị của một fields cụ thể hoặc thiết lập các fields, sắp xếp theo giá trị của các fields này. > compareCollection(db.col1, db.col3)
false
2Để có thể đánh số nhiều fields, bạn hãy dùng > compareCollection(db.col1, db.col4)
false
6> compareCollection(db.col1, db.col3)
false
3Ở đây giá trị 1 và -1 là thể hiện thứ tự sắp xếp index. > compareCollection(db.col1, db.col4)
false
6 có khá nhiều tham số để bạn có thể tùy chỉnh.MongoDB - AggregationAggregation xử ly các record dữ liệu va trả về kết quả đã tính toán rồi. Aggregation sẽ group giá trị từ nhiều documents khác nhau và có thể tiến hành xử lý rất nhiều nhóm dư liệu để trả về một kết quả đơn lẻ. Xử lý này tương đương với count(*) trong SQL. > compareCollection(db.col1, db.col3)
false
4Ví dụ chúng ta có dữ liệu như thế này. > compareCollection(db.col1, db.col3)
false
5 Nếu bạn muốn hiển thị có bao nhiêu tutorial được viết bởi mỗi user bạn sẽ sử dụng > compareCollection(db.col1, db.col4)
false
8 như sau :> compareCollection(db.col1, db.col3)
false
6Tương ứng với câu truy vấn trên trong SQL sẽ là > compareCollection(db.col1, db.col4)
false
9. Trong ví dụ ở trên, chúng ta đã group các documents bới fields {
_id: POST_ID
title: TITLE_OF_POST,
description: POST_DESCRIPTION,
by: POST_BY,
url: URL_OF_POST,
tags: [TAG1, TAG2, TAG3],
likes: TOTAL_LIKES,
comments: [
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
},
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
}
]
}
0 và sau đó trên mỗi lần xả ra by_user giá trị tổng được tăng lên.Khái niệm về PIPELINETrong các lệnh shell UNIX, pipeline có ý nghĩa khả năng để thực hiện một xử lý trên một vài input và sử dụng các outpust như là input cho lệnh toeeps theo. MongoDB cũng hỗ trợ khái niệm tương tự trong framework aggregation. Sẽ có một tập hợp các stage có thể xảy ra và mỗi stage được đánh dấu bằng môt nhóm các documents như là input và tính toán ra kết quả của nhóm documents đó. Kết quả nà có thể sẽ được chuyển thành input sử dụng cho stage kế tiếp. Bài viết sau mình sẽ viết tiếp về những vấn đề nâng cao hơn của MongoDB. MongoDB - ReplicationReplication là khái niệm đồng bộ hóa dữ liệu trên nhiều server. REplication sẽ cung cấp rất nhiều và tăng tính sẵn sàng của data với nhiều bản copy dữ liệu trên nhiều server DB, replications bảo vê DB khỏi việc mất dữ liệu trên 1 server đơn lẻ. Relication cũng cho phép bạn có thể khôi phục dữ liệu từ các ổ cứng bị lỗi và việc service bị lỗi hay gặp vấn đề. Với rất nheieuf các copy dữ liệu, bạn có thể tinh chỉnh môt bản cho việc khôi phục, report hoặc backup. Tại sao lại cần REPLICATION- Dữ data an toàn
- Tạo tính sẵn sàng 24/7 cho dữ liệu
- Khôi phục dư liệu khỏi lỗi
- Không có downtime khi xảy ra maintenance.
- Tăng khả năng read dữ liệu
- Replica setting không ảnh hưởng đến ứng dung
REPILCATION hoạt động như thế nào trong MongoDBMongoDB lưu trử replication bằng việc sử dụng tập hợp repica. Một tập hơp replica chính là một group các instance {
_id: POST_ID
title: TITLE_OF_POST,
description: POST_DESCRIPTION,
by: POST_BY,
url: URL_OF_POST,
tags: [TAG1, TAG2, TAG3],
likes: TOTAL_LIKES,
comments: [
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
},
{
user:'COMMENT_BY',
message: TEXT,
dateCreated: DATE_TIME,
like: LIKES
}
]
}
1 mà có host cung chung tập hợp dữ liệu. Tất cả các instance khác, thứ 2 sẽ được apply xử lý từ instance primary cho nên nó sẽ có chung tập hợp dữ liệu. Replica chỉ có duy nhất một node primary chính.- Replica là một tâp hợp 2 hoặc nhiều nodes
- Trong tập hợp replica, một node là node chính và phần còn lại là nốt thứ 2
- Tất cả các dữ liệu được replicates từ node chính sang các node phụ
- Tại một thời điểm nào tự động maintenance, sẽ có một "cuộc bầu cử " được thiết lập lại để chọn ra node chính mới.
- Sau một lần recovery một node bị lỗi, nó sẽ join lại nhóm replica và làm việc như một nốt phụ tiếp.
MongoDB - ShardingSharding là quá trình xử lý lưu trử dữ liệu record trên nhiều máy và đây là cách tiếp cận của MongoDB để có thể thỏa mãn các yêu cầu về big data. Khi size của dữ liệu gia tăng, một máy tính đơn lẻ ko thể đủ để lưu dữ liệu cũng như cung cấp các xử lý read và write thông thường. Sharding giải quyết bài toán này bằng cách scale lên theo chiều ngang. VỚi sharding, bạn có thể sẽ add thêm machines để hỗ trợ lưu trữ dữ liệu cũng như các yêu cầu về đọc và viết. Tại sao lại cần Sharding- Trong replication tất cả writes sẽ được tiến hành ở node master
- Các câu truy vấn trên master có một chút độ trễ
- Một tập hợp replica có giới hạn 12 nodes
- Bộ nhớ không thể đủ lớn khi làm việc với big data
- Local disk không đủ lớn
- Scale dọc quá tốn tiền
Sharding in MongoDBĐây là mô hình sharding trong MongoDB - Shards : Shards được sử dụng để lưu trữ dữ liệu. Chúng cung cấp các dữ liệu với tính ổn định và sẵn sàng cao. Trong môi trường production, shard chính là một nhóm các replica riêng rẽ.
- Config Servers : Config Servers lưu dứ liệu metadata trong cluster. Dữ liệu chứa các thông tin về map dữa nhóm dữ liệu với các shards. Mỗi query router sẽ dụng metadata để định hướng các xử lý đến các sharding cụ thể. Trong môi trường production, nhóm shard sẽ có 3 config server.
- Query Routes : Query Routes về cơ bản là các instance của mongos, giao tiếp với ứng dụng cliens và chỉ định các xử lý đến shard tương ứng. Query Router xử lý và nhắm đến các shards và trả về kết quả cho clients. Một nhóm các shard có thể chưa nhiều hơn một query router để phân loại tải request. Một Clients send request đến một query router. Nhìn chung thì một nhóm các sharded sẽ có nhiều query router.
Nguồn : http://www.tutorialspoint.com/ |