分布式系統的核心思想是分而治之，用一組計算機集群通過計算機網絡協作，共同完成任務。根據傳統思路，處理復雜問題的方式是不斷提升計算機性能，研發一代更比一代強的“超級計算機”。而分布式系統則另辟蹊徑，解決問題的方式從“一夫當關、萬夫莫開”演變為“人海戰術”，用一組計算機集群替換大型機，集群中的每臺機器處理原問題的一個子集，通過成百上千普通計算機協作，實現與大型機相同甚至更佳的效果。
數據量爆炸性變大，大量非結構化數據產生。移動互聯網的普及帶來了全球數據量爆炸性增長的時代。根據 Statista 的統計和預測，2020 年全球數據產生量高達 47 ZB，預計而到 2035 年，年數據產生量將達到 2142ZB。此外，采集到的數據中，圖片、音頻、視頻等半結構化、非結構化的數據占比高達 85%，傳統關系型數據庫無法勝任此類數據的處理，整個 IT 系統亟須革命性重構，以適應大數據時代的發展。
集中性系統技術瓶頸與大數據需求之間的矛盾不斷凸顯。隨著 5G、物聯網時代的到來，數據量爆炸性增長，而傳統集中式數據庫容量有限，存儲性能提升越來越昂貴；計算復雜度提升迅速，而集中式系統性能提升卻逐步趨緩。集中式技術進步跟不上時代發展的矛盾不斷凸顯，人們轉而突破馮·諾伊曼體系的束縛，設計能適應大規模數據、大批量計算場景的分布式系統。
