大型網站的架構設計中，主要都是以同一時間系統能處理大量網頁請求或處理任務的能力當標準值。假設說，五月天的演唱會訂票系統瞬間會有大量搶票、支付，或是系統同時會有幾十萬客戶上線，這種有機會讓系統癱瘓掉的都屬於「高併發」。
而高併發衡量的指標主要是以”Transactions Per Second(TPS)”就是每秒處理交易數量，就如同剛才說的五月天演唱會搶票，以2024年6月統計7-11有12000家同時有人搶票，就算是高併發的一個場景。
一般而言TPS 落在1000-5000 屬於具有一定程度的併發，而5000以上就算高併發，像50000以上就屬於超大型網站會遇到的超高併發了。
要支撐這樣的場景，需要採用許多高併發的技術方案。
一、分散式架構
將系統的負載分散到多個伺服器的節點，提高擴展與可靠性。例如:增加伺服器的數量
二、微服務架構
把系統從單體拆分成相互獨立的服務，系統各自有自己的業務功能，彼此間透過RPC HTTP 做通訊。而每個微服務可以根據流量/負載做水平擴增。微服務的好處還可以獨立部署或擴增，減少耦合。
三、Cche機制
透過減少直接連接資料庫來提高回應速度，降低伺服器與資料庫的壓力。而用最多的莫過於使用redis 集群方式來擴展性能。把會頻繁查詢的資料，像商品、會員等放在記憶體中，提高併發量。
四、Load Balance 負載平衡
把客戶端的請求分配到不同伺服器，避免單一台伺服器過載，例如像nginx、HAProxy、F5等技術。而負載平衡有三種主要的策略來做分配
- 輪詢：依順序把請求配到每一台伺服器
- 權重：根據伺服器效能設定不同權重，能者多勞（不是過勞喔）的意思
- IP Hash:透過請求的IP來分配，把同一個IP分配到同一台，這樣可以讓Session保持
五、流量的削峰
這是常用到的方式，避免瞬間大量沖垮服務過載。常用的方法是透過佇列的排隊來處理，比方說放到MQ這種訊息佇列來做承受大流量。
六、限流
透過限制請求的速率，主要有Token Bucket、Leaky bucket或計數器三種演算法
可參考:[Architecture] 架構設計 – 限流策略 Rate Limiting Strategies
七、熔斷
當某服務故障、過慢，熔斷機制可臨時中斷請求，避免影響
八、降級
關閉一些非核心的服務，降低系統壓力。
