- 必須安裝Go程式,有關安裝方式可以參考這個網頁。
- 設置Google存取權限(credentials),這裡可以設定自有的Google credential
- 到Google API Console
- 建立新的專案 (Create a new project)
- 啟動Google Drive API
- 設置Consent Screen
- 選擇OAtu client ID建立存取權限
- 下載與安裝gdrive程式並設置存取權限
go get github.com/prasmussen/gdrive
- 下載之後,會存放在
$GOPATH/src/github.com/prasmussen/gdrive
文件夾,到這文件夾,可以找到一份設定檔案為handlers_drive.go
,請打開這個文件,並修改第17/18行,將前面在Google Drive API設定的存取權限的Client ID與ClientSecret填入如下const ClientId = "367116221053-7n0v**.apps.googleusercontent.com" const ClientSecret = "1qsNodXN*****jUjmvhoO"
- 將專案建立起來
$go build
- 建立之後,執行go env檢查環境參數,應該會有一個如下顯示的資料:
$env:GOOS = "linux"
- 將建立的程式複製到可執行的地方,例如 /usr/sbin
sudo mv gdrive /usr/sbin/gdrive
- 執行 gdrive list指令,會出現類似下面的畫面:
這時,將https://accounts.google.com…整段網址複製再貼到瀏覽器,登入您的google帳號 - 選擇您的Google Drive的帳號讓這gdrive可以存取
- 將權限授予此應用程式,即可獲取驗證碼(verification code)
- 再將驗證碼貼到剛剛gdrive程式執行所需填入的verification code,完成後會出現您在Google Drive的檔案與文件夾資料。
- 測試上傳功能,
# 上傳到Google Drive根目錄 gdrive upload test.zip # 上傳到Google Drive的特定目錄。特定目錄的代碼,可透過網頁google drive上進行查看 gdrive upload --parent 1dYSp4NcaRTykSebFt-UoAadszRhMQciX test.zip
在Ubuntu 16.04上安裝Postfix+Dovecot+SquirrelMail以及相關設置
Postfix:Postfix是一個免費的開源軟件應用程序,可用作郵件傳輸代理(MTA),用於路由和傳遞電子郵件。提供SMTP服務接收與傳送郵件。
DoveCot: 主要提供POP3與IMAP服務,可提供遠端client連線到郵件伺服器。Dovecot是一個開源MDA(郵件傳遞代理),負責向服務器上的本地收件人郵箱發送電子郵件。Dovecot實現了IMAP(Internet消息訪問協議)和POP3(郵局協議),因此仍然是通過(郵件用戶代理)MUA(如Squirrelmail,Ms Outlook,Thunderbird或Roundcube)訪問電子郵件的不錯選擇。
SquirrelMail:是一套提供網頁電子郵件(WebMail)服務。
1. 安裝網頁伺服器(Apache2 + php + letsEncrypt SSL)
$ sudo apt-get update $ sudo apt-get install apache2 $ sudo apt-get install php libapache2-mod-php $ sudo apt-get install software-properties-common python-software-properties $ sudo add-apt-repository ppa:certbot/certbot $ sudo apt-get update $ sudo apt-get install python-certbot-apache $ sudo certbot --apache -d example.com
安裝letsencrypt SSL 系統將提示您輸入電子郵件地址以進行緊急SSL續訂和緊急通知。 輸入地址,然後按Enter鍵。
接下來,按A並按Enter鍵以同意條款和條件。
如果您想與Electronic Frontier分享您的電子郵件,請按Y並按Enter鍵,否則按N並按Enter鍵。
在SSL安裝結束時,系統會詢問您是否要重定向流量,只需為沒有重定向選擇1並按Enter鍵
你最後應該得到一個祝賀信息:
IMPORTANT NOTES: - Congratulations! Your certificate and chain have been saved at: /etc/letsencrypt/live/example.com/fullchain.pem Your key file has been saved at: /etc/letsencrypt/live/example.com/privkey.pem Your cert will expire on 2018-11-04. To obtain a new or tweaked version of this certificate in the future, simply run certbot again with the "certonly" option. To non-interactively renew *all* of your certificates, run "certbot renew" - If you like Certbot, please consider supporting our work by: Donating to ISRG / Let's Encrypt: https://letsencrypt.org/donate Donating to EFF: https://eff.org/donate-le
2. 安裝Postfix
$ sudo apt-get install postfix
執行此安裝指令後,會出現下面畫面,按下TAB到OK,然後按下enter繼續:
下面畫面選擇Internet Site:
3. 設定Postfix:
我們將對postfix配置文件進行一些更改。 我們將備份原始文件並創建一個新的配置文件,而不是編輯文件/etc/postfix/main.cf:
$ sudo mv /etc/postfix/main.cf /etc/postfix/main.cf.bk $ sudo nano /etc/postfix/main.cf
下面是設定的範例:
smtpd_banner = $myhostname ESMTP $mail_name biff = no # appending .domain is the MUA's job. append_dot_mydomain = no readme_directory = no #SMTP CONFIGURATION smtp_use_tls=yes smtp_tls_security_level = may smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache # SMTPD CONFIGURATIONS # SMTPD AUTHENTICATION smtpd_sasl_auth_enable = yes smtpd_sasl_type = dovecot smtpd_sasl_path = private/auth # SMPTD TLS smtpd_use_tls=yes smtpd_tls_security_level = may smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache smtpd_tls_cert_file=/etc/letsencrypt/live/example.com/fullchain.pem smtpd_tls_key_file=/etc/letsencrypt/live/example.com/privkey.pem myhostname = mail.example.com myorigin = /etc/mailname mydestination = localhost.$mydomain, localhost relayhost = mynetworks = 127.0.0.0/8 [::ffff:127.0.0.0]/104 [::1]/128 mailbox_size_limit = 0 recipient_delimiter = + inet_interfaces = all inet_protocols = all alias_maps = hash:/etc/aliases alias_database = hash:/etc/aliases
此設定並未採用virtual mailbox,若此伺服器提供多個mail server服務,則需採用virtual mailbox。
4. 安裝與設定Dovebot:
接下來,我們將安裝Dovecot以及IMAP,POP和LTMPD所需的所有軟件包。 後者使用本地郵件傳輸協議(LMTP)將電子郵件傳遞到本地收件箱。
當電子郵件發送到我們的服務器時,Postfix會將其傳遞給Dovecot以進行本地傳遞。 此外,我們的電子郵件客戶端SquirrelMail將通過Dovecot通過IMAP協議從本地存儲中檢索電子郵件。
$ sudo apt-get install dovecot-core dovecot-imapd dovecot-pop3d
啟用 IMAP / POP3 登入
修改 /etc/dovecot/conf.d/10-auth.conf,我們的SSL將採用letsencrypt的SSL證書,他是免費又好用的SSL。
一般使用者的發送 Email 的流程,不是 Webmail 就是用 SMTP。這裡 SMTP 清晰一點是 SMTP Submission,即是 MUA 透過 MSA 委托 MTA 代為傳送郵件 (Relay)。而 SMTP Submission 當然需要有登入設定,不然肯定會成為 Spam Mail 的 Open Relay了。現在的 Postfix 預設設定已經不允許 Open Relay,所以必需先設定登入機制才能外部使用。
Postfix 使用模組化的設計,各部分都是分開的。換句話說您可以使用很多不同的登入插件,SASL (Simple Authentication and Security Layer) 就提供 Postfix 和 登入插件間的溝通。
Postfix 目前支援 Cyrus 和 Dovecot 的 SASL 實作。本部分是為了將 SMTP 的 MSA 登入驗證整合到 Dovecot。
啟用 SMTP Submission Port 587
目前很多 ISP 封鎖了 Port 25 的連線,所以要改用協議中定義的 Port 587 來收件。修改 /etc/postfix/master.cf,把這一行 Uncomment 就好了。
submission inet n - - - - smtpd
Dovecot SASL / Postfix 整合
啟用 Dovecot 內建的 SASL,修改 /etc/dovecot/conf.d/10-master.conf
Uncomment “#Postfix smtp-auth” 下面一段,並加入 user 及 group。
service auth { # auth_socket_path points to this userdb socket by default. It's typically # used by dovecot-lda, doveadm, possibly imap process, etc. Its default # permissions make it readable only by root, but you may need to relax these # permissions. Users that have access to this socket are able to get a list # of all usernames and get results of everyone's userdb lookups. unix_listener auth-userdb { #mode = 0600 #user = #group = } # Postfix smtp-auth unix_listener /var/spool/postfix/private/auth { mode = 0666 user = postfix group = postdrop } # Auth process is run as this user. #user = $default_internal_user }
Dovecot 建議只在 SMTP Submission (Port 587) 啟用 SASL 驗證,
原因是當 Dovecot SASL 不可用時,也不至於連收信都失敗。
我們就按指引完成:
修改 /etc/postfix/master.cf,把之前指定在 main.cf 的設定都搬過來,並指定 SASL Socket Path
submission inet n - - - - smtpd -o smtpd_recipient_restrictions=permit_mynetworks,permit_sasl_authenticated,reject_unauth_destination,reject_authenticated_sender_login_mismatch -o smtpd_sasl_local_domain=$myhostname -o smtpd_sasl_auth_enable=yes -o smtpd_sasl_security_options=noanonymous -o smtpd_sasl_type=dovecot -o smtpd_sasl_path=private/auth -o broken_sasl_auth_clients=yes
這個 master.cf 的格式 非常嚴格:
= 前後都不能有空格
-o 前面必需有空格
每項 Option 的 Value 必不能有空格
不能換行,smtpd_recipient_restrictions 要用逗號隔開
修改完成用 Telnet 測試:
telnet 127.0.0.1 587
如果有出現 220 Response 的話,恭喜中獎了
220 server.tiger-workshop-mail.com ESMTP Postfix
若沒有,則查看/var/log/mail.log,看看問題在哪裡。
若成功了,執行ehlo local就會看到下面的敘述:
telnet localhost 587 Trying ::1... Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. 220 mail.dubugroup.com ESMTP Postfix (Ubuntu) ehlo localhost 250-mail.dubugroup.com 250-PIPELINING 250-SIZE 10240000 250-VRFY 250-ETRN 250-STARTTLS 250-AUTH PLAIN 250-AUTH=PLAIN 250-ENHANCEDSTATUSCODES 250-8BITMIME 250 DSN
若看到下面兩個,代表可以驗證成功了!!
250-AUTH PLAIN 250-AUTH=PLAIN
透過外部 SMTP 發送成功了,Email 當然還帶有前面設定過的 SPF 和 DKIM。
到了這裏,只要設定 Dovecot 的 User,
SMTP、IMAP、POP3 都會使用同一個 Username & Password,
而且收信地址也會跟 Username 一樣,實在太美好了…
Ubuntu 其實有提供一個 Package “dovecot-postfix” 整合套件,直接完成以上的東西。
這跟 Windows 下的 XAMPP 和手動安裝 Apache, MySQL, PHP 然後手動整合一樣,
手動設定會學到比較多原理,Debug 比較容易吧。
最後安裝SquirrelMail網頁郵件:
接下來我們可以配置SquirrelMail客戶端。 該應用程序是通過SMTP和IMAP協議發送和接收電子郵件的理想選擇,可以在任何瀏覽器上運行。
要安裝該軟件,請運行以下命令:
$ sudo apt-get install squirrelmail
照著指示依序安裝後即可。
接下來,我們將把SquirrelMail路徑添加到Apache的默認虛擬主機文件中,該文件啟用了LetsEncrypt的加密SSL證書。
$ sudo nano /etc/apache2/sites-enabled/000-default-le-ssl.conf
在ServerName後面加上Alias設置,Alias /mail /usr/share/squirrelmail
<VirtualHost *:443>
...
ServerName example.com
Alias /mail /usr/share/squirrelmail
...
</VirtualHost>
接著設置SquirrelMail就很簡單了
$domain = 'example.com'; $imapServerAddress = 'example.com'; $imapPort=993; $smtpPort=465; $smtp_auth_mech='login'; $use_imap_tls='true'; $use_smpt_tls='true';
修改/etc/access
用來允許或拒絕RELAY的網域,可參考 這裡。設定後,執行下面的指令才可轉換為access.db
postmap hash:/etc/postfix/access
設定別名(Alias)
作為群組發信的很重要的應用,例如:[email protected],這個sales是個團隊,將發送到sales可轉發給其他特定的人員,其詳細說明可參考這裡。執行下面的指令才可轉換aliases.db
postalias hash:/etc/aliases
如何利用ffmpeg將影片轉換成HLS切片
HLS(HTTP Live Stream)是蘋果推出的影音串流的標準,目前可支援大多數的行動裝置與電視盒,如何利用ffmpeg將直播或影片進行切片(chunk)轉成HLS格式。
編碼參數說明不多敘述。
直播:
以udp為例:
ffmpeg -y -i udp://@:10000 -c copy -hls_segment_type fmp4 -hls_time 6 -hls_list_size 10 -hls_flags delete_segments+append_list+split_by_time -hls_playlist_type event ~/hls/index_4000.m3u8
影音編碼器(Encoder)將直播訊號發送到轉碼用PC(Transcoding PC),將影音內容的編碼方式直接轉換(-c copy)。
-hls_time:設定每個切片(chunk)的長度(秒),這裡設定為6秒一個切片。
-hls_segment_type: fmp4 or mpegts,切片的格式為mp4或者為mpeg-2 ts格式,目前hls version 7以上可採用mp4格式類似於mpeg-dash
-hls_list_size:設定playlist播放清單最多的內容,如果是0則無限制。因此為直播內容,可預先保留最大的值,這裡設定為10,就是會預先切個10個切片的播放清單,前面hls_time設定為6秒,切十個,就是預留60秒的內容進行播放。相對的,就有會將近60秒的延遲。
-hls_flags:有很多參數可用,這裡使用了delete_segments, append_list, split_by_time, 分述如下:
- delete_segments: 在segment的持續時間加上播放列表(playlist)的持續時間之後的一段時間之後刪除從播放列表中刪除的段文件(segment)。
- append_list: 將新segment添加到舊segment列表的末尾,並從舊段列表中刪除#EXT-X-ENDLIST。
- split_by_time: 允許segment在關鍵幀(key frame)以外的幀上啟動。 當關鍵幀之間的時間不一致時,這會改善某些玩家的行為,但可能會使其他播放器的情況變得更糟,並且在搜索過程中可能會導致一些奇怪的現象。 此標誌應與hls_time選項一起使用。
-hls_playlist_type: event,發出#EXT-X-PLAYLIST-TYPE:m3u8標題中的EVENT。 強制hls_list_size為0; 播放列表(playlist)只能附加到。
點播內容:
此應用就是將一個mp4的影音檔案進行切割成HLS的切面,因此,也就是mp4的檔案轉換程式:
ffmpeg -i $1 -profile:v baseline -level 3.0 -s 640x360 -start_number 0 -hls_time 10 -hls_list_size 0 -f hls ${1%.*}.m3u8
為了讓多數的播放器,特別是行動裝置,這裡將影音的格式轉為mpeg-4, h264, baseline level 3.0的格式,以及640×360的影片大小,讓絕大多數的播放器都可以正常播放。
-start_number 0: 從一開始就進行切片
-hls_list_size 0: 如前述,這裡因為是要把整個mp4檔案轉換,所以就不限定playlist的內容大小了。
有關ffmpeg的HLS以及格式參數可參考這網址:https://ffmpeg.org/ffmpeg-formats.html
如何在資料庫裡停止WordPress的外掛
在該資料庫(MySQL)裡執行下面的指令即可停止所有插件(外掛)
UPDATE
wp_options
SET
option_value =
''
WHERE
option_name =
'active_plugins'
;
MongoDB 3.4 Sharding 觀念、安裝、與配置
Sharding 為 MongoDB 所擁有的一種資料分散處理架構,簡單的說就是將資料分片 (Shard) 儲存到不同的機器中,最常應用在大數據的案例上。在海量資料的儲存情境上,垂直擴充架構是無法滿足的,必須透過水平擴充來實現。
MongoDB Sharded Cluster 基本的架構示意如下:
在這樣的機制下,儲存進 Collection 的資料會被盡可能平均地分散到每一個 Shard 上,每一個 Shard 都是由獨立的 mongod 實體或者 Replica Set 所構成 (想了解 Replica Set 可以看看之前的文章)。上圖我們也可以看到,Sharding 機制本身是不負責備份的,在產品上線的環境中,強烈建議使用 Replica Set 來搭建 MongoDB Sharded Cluster。在這個架構中,假設我們有 1TB 的資料,可以透過 Sharding 機制將資料切分為四個 Shard,每一個 Shard 負責儲存 256G,應該很好理解。
MongoDB Sharded Cluster 運作機制
那麼 MongoDB Sharded Cluster 是如何運作的呢?我們先看看下面的架構圖:
當使用者或應用程式 (Driver) 要操作 MongoDB Sharded Cluster 時,是透過 mongos 來進行連接,mongos 扮演 Router 的角色,Router 通常由多個實體組成,可以將 Loading 分散處理,保持高可用性 (HA)。對於應用程式來說,並不需要瞭解 MongoDB Sharding 怎麼運作的,他們看到的只是一個資料庫,所以使用上基本不會有太大的差別。如下所示:
之前提到,雖然每一個 Shard 都是由一個 mongod 或 Replica Set 構成,但如果沒有透過 mongos (Router) 進行連線操作,而直接對 Shard 進行連線,那麼你看到 Collection 的資料就不會是完整的集合,而只是單一個 Shard 的資料。那麼 Cluster 是如何分配資料呢,這裡有一個很重要的角色,就是 Config Server。
Config Server
Config Server 是 MongoDB Sharding 架構中相當重要的一個角色,它存放了資料的 Metadata,包括透過 Shard Key 計算出來的索引,用來記錄每一個資料存放的 Shard 位置,好讓 Router 可以正確的 Query 資料,如果沒有這些索引,那麼每一個用來存放資料的 mongod 實體,就「純粹」只是獨立存放分散的資料,無法協同工作。Config Server 聽起來很重要對吧!?因此 Config Server 部署時必須要多台機器,在新版 3.2 之後也可以用 Replica Set 架設 Config Server。
為了將資料分散儲存,就必須找一個方法來管理 Index,我們必須將 Document 某一個欄位定義為 Shard Key,然後透過 range based partitioning 或 hash based partitioning 其中一中方式將資料分配到 chunks 中 (每一個 Chunks 預設的大小為 64MB),最後才將 Chunks 分散到不同的 Shard 上。接下來我們先看看兩種不同的 Partitioning 機制:
Range Based Sharding
這種方式就是將 Document Shard Key 欄位的值,以線性的方式進行分群,透過 Range 範圍進行切割,相近的值理所當然會被分到同一個 Chunk 中,Chunk 分配的情況會直接受到 Range 的影響(比如某一段 Range 出現頻率高,Chunk 資料就比較大)。用這種方法我們必須考慮 Shard Key 的範圍,如下所示:
Hash Based Sharding
這種方法顧名思義就是透過「雜湊函式」將我們指定的 Shard Key 欄位進行雜湊,這樣的方式資料比較容易分散到每個 Shard 中,如果資料量足夠豐富,佔用空間的分配也會比較平均。如下:
比較一下兩種方法,Range Based 實際在 Query 時,Router 可以很輕易地判斷資料的位置,然後正確地派送運算到所屬的 Shard 上。但如果要查詢的資料片段大小差異過高,且又分散在不同的 Shard 上,查詢必定會「等待」其他 Shard 處理的情況產生。來看看 Hash Based,Shard Key 透過 Hash 計算後,很容易分散在不同的 Chunk,資料分散性佳,擴充也比較容易。但是在 Query 時就必須要經過比較多的 Shard 計算,才能由 Router 返回最後的結果。兩種方法各有利弊,可以依照實際的應用情況選用。那如果想要自行實作資料分散的邏輯呢?MongoDB 當然也是支援的,就是透過 Tag 這個功能,但我沒有研究,所以就無從介紹了。有興趣可以看看官方 Tag Aware Sharding 相關介紹。
開始建置:
由於 Shard 本身沒有備援機制,因此 MongoDB 的 Shard 必須建置在 Replica Set 上,Replica Set 建置方式請參考「MongoDB Replica Set 高可用性架構搭建」這一篇文章。假設您已經建立好 Replica Set,那麼就可以繼續接著開始建置 Shard。
我們規劃原來做的mongsh1~mongsh3三台伺服器,都拿來做shard server與config server,另外mongsh1/mongsh2拿來當router。
建置 Config Server
一開始我們先建立 Config Server,在 MongoDB Sharding Cluster 架構中,Config Server 必須有三個實體以上,強烈建議部署在不同的機器上,因為 Metadata 實在太重要了。下面的範例其實是與 Replica Set 一起部署,實際上分開會比較好。慣例上我們會先透過 /etc/hosts 管理我們的主機資訊 (用 DNS 也是可以),假設要安裝 Config Server 的 Hostname 為 mong-cfg1 ~ mong-cfg3
vi /etc/hosts 10.21.1.45 mongsh1 10.21.1.46 mongsh2 10.21.1.44 mongsh3 10.21.1.45 mong-cfg1 10.21.1.46 mong-cfg2 10.21.1.44 mong-cfg3 10.21.1.45 mong-router1 10.21.1.46 mong-router2
接著建立 Config Server 要存放的 DB File Directory,命令如下:
mkdir -p /home/mongodb-cfg sudo chown -R mongodb:mongodb /home/mongodb-cfg
三台伺服器都要做。
然後建立 MongoDB Config Server 需要的設定檔,之後再透過 mongod 來載入啟用,因為我們測試環境的 Config Server 與 Replica Set 都在其實同一台機器(正式環境建議分開或分散比較好),Port 與 PID 都要不同,Port 隔開可以方便我們部署在不同機器,然而透過不同的設定檔也會比較好進行管理。大致上的 Port 分配如下:
- Replica Set:27019 Port
- Config Server:27018 Port
- Mongo Router (mongos):27017 Port
編輯 Config Server 設定檔內容如下:
vi /etc/mongod-cfgserv.conf storage: dbPath: /home/mongodb-cfg journal: enabled: true systemLog: destination: file logAppend: true path: /var/log/mongodb/mongod-cfgserv.log sharding: clusterRole: configsvr net: port: 27018 bindIp: 0.0.0.0 processManagement: fork: true pidFilePath: /var/run/mongod-cfgserv.pid
上面的設定檔先不開啟認證模式,官方規定在 Production 環境最少要配置三台以上的 Config Server。透過以下 mongod 命令分別在「mong-cfg1, mong-cfg2, mong-cfg3」三台機器各別透過 mongod 指令來啟用 Config Server。
sudo mongod -f /etc/mongod-cfgserv.conf
啟動後我們也可以在 /var/log/mongodb/mongod-cfgserv.log 看到 log 資訊。
建置 MongoDB Router
再來就是建置 MongoDB Sharding Router。首先建立 mongos 要載入的設定檔,基本上跟上面 Config Server 使用的 mongod 差不多。我們這裡測試用的 Router 是跟 Config Server 放在一起,實際上可分開存放會更好。
這裡,我們就都不設定認證模式,若有意設置,可參考這篇文章。
設定檔內容如下:
sudo vi /etc/mongod-router.conf systemLog: destination: file logAppend: true path: /var/log/mongodb/mongod-router.log sharding: configDB: mong-cfg1:27018,mong-cfg2:27018,mongodb-cfg-3:27018 net: port: 27017 bindIp: 0.0.0.0 processManagement: fork: true pidFilePath: /var/run/mongodb-router.pid
我們可以看到上述的設定檔有指定 Config Server 的位置,好讓 Router 啟動時可以讀取 Config Server 中的 Metadata。也需要配置到另外一台伺服器mong-router2
如同上述的設定檔,先不用啟用認證來執行 mongos,主要是為了要先在 Config Server 中建立 User 好讓後續整個認證流程可以順利串起來,這裡通常大家都會遇到最多問題,很多人最後乾脆關閉認證來配置 Sharding,這樣其實很危險,不建議關閉認證。此外由於應用程式大多是透過 27017 Port 進行連線,所以要提供連線的 Router Bind 直接啟動在標準 MongoDB Port 這樣應用程式就不用修改囉。
先啟用其中一台的 MongoDB Sharding Router,等透過 Mongo Router 設定好 Config Server 之後再啟動所有的 Rouer 即可。注意這裡是用 mongos 命令來啟動喔,如下:
sudo mongos -f /etc/mongod-router.conf
配置自動啟動config與router服務:
於10.21.1.45與10.21.1.46兩台伺服器
vi /etc/rc.local mongod -f /etc/mongod-cfgserv.conf mongos -f /etc/mongod-router.conf
於10.21.1.44則配置如下
vi /etc/rc.local mongod -f /etc/mongod-cfgserv.conf
建立 Sharding Cluster
接著我們透過認證模式進入 Mongo Router 來設定 Sharding,因為後端的 Monogd 是採用Replica Set 認證模式,所以配置 Sharding 的動作一定要透過同一把 Key 啟動,才能把服務整個串起來。以下透過我們建立好的管理者帳密登入 Mongo Router 來進行配置:
mongo mongodb-router1 mongos>sh.addShard("bes/mongodb-a1:27019,mongodb-a2:27019,mongodb-a3:27019")
加入後,再檢查一下狀態:
mongos> sh.status() --- Sharding Status --- sharding version: { "_id" : 1, "minCompatibleVersion" : 5, "currentVersion" : 6, "clusterId" : ObjectId("59b4e7b564bf31ba36e4615c") } shards: { "_id" : "bes", "host" : "bes/mongsh1:27019,mongsh2:27019,mongsh3:27019", "state" : 1 } active mongoses: "3.4.8" : 2 autosplit: Currently enabled: yes balancer: Currently enabled: yes Currently running: no Balancer lock taken at Sun Sep 10 2017 20:27:09 GMT+0800 (CST) by ConfigServer:Balancer Failed balancer rounds in last 5 attempts: 5 Last reported error: Cannot accept sharding commands if not started with --shardsvr Time of Reported error: Wed Sep 13 2017 11:18:59 GMT+0800 (CST) Migration Results for the last 24 hours: No recent migrations databases: { "_id" : "teammerge12", "primary" : "bes", "partitioned" : true } mongos>
實務的配置上,我們會部署多台 Router 來平衡應用程式端的查詢,在應用程式中也可以指定這一群「Router」作為 Server。到這裡 MongoDB Sharding Cluster 就算是被置完成囉,實際的使用上還需要指定 Collection Shard Key 來分配 Chunk 到不同的 Shard 上,這裡請自行參考 MongoDB 官方的 Shard Key 使用介紹。