Để có thể đưa ra phương án xử lý tốt, nhà cung cấp cần phải thấu hiểu tường tận về bài toán. Thông thường cấu trúc của một giải pháp xử lý bài toán “̛̃ ̣̂ ̛́” bao gồm các thành phần sau:
Nơi lưu trữ dữ liệu (Data Storage)
Xử lý dữ liệu theo lô (Batch Processing)
Thu thập dữ liệu thời gian thực (Real-time Message Ingestion)
Xử lý dữ liệu theo luồng (Stream Processing)
Nơi lưu trữ dữ liệu phân tích (Analytical Data Store)
Phân tích và báo cáo (Analysis and Reporting)
Điều phối (Orchestration)
Sau khi tìm hiểu, dựa trên nguồn lực cốt lõi và tư duy, từng nhà cung cấp sẽ có giải pháp xử lý khác nhau. Dưới đây là 1 số phương án theo kinh nghiệm và năng lực về công nghệ từ sản phẩm của chúng tôi. Mời bạn đọc tham khảo:
1. Thiết kế cơ sở dữ liệu: tối ưu về cấu trúc các kiểu trường dữ liệu/cột/bảng
- Tối giảm dung lượng các bản ghi: dùng kiểu dữ liệu đúng theo nhu cầu, tránh trùng lắp/thừa thông tin.
- Chia partition theo chiều ngang (horizontal partitioning): tách các cột thông tin thành nhiều bảng liên kết theo tính chất và tần suất truy xuất.
- Chia partition theo chiều dọc – theo dữ liệu phát sinh (vertical partitioning): chia bảng dữ liệu theo các yếu tố như đơn vị cơ sở/chi nhánh/năm làm việc…
Có thể kết hợp thêm với việc cấu hình tính năng partitioning của MS SQL Enterprise.
2. Thiết kế tính năng phần mềm
2.1. Tối ưu luồng dữ liệu vào/ra:
- Hệ thống chỉ tải những dữ liệu cần thiết theo đúng nhu cầu sử dụng, khai thác cho giao diện cũng như chỉ gửi lệnh cập nhật cho những thông tin thay đổi. Các câu lệnh được tối ưu giảm thiểu dung lượng và tăng tốc độ khi tải/tìm kiếm/cập nhật.
- Kỹ thuật phân trang khi tải dữ liệu (paging): tải và hiển thị dữ liệu theo trang từng trang.
2.2. Tối ưu trong xử lý nghiệp vụ:
- Các chứng từ nghiệp vụ được phân loại và lưu trữ riêng từng Table với các loại chứng từ có khối lượng phát sinh dữ liệu nhiều, đảm bảo tốc độ truy xuất nhanh. Ví dụ, chia nhỏ các bảng khác nhau cho các nghiệp vụ tính giá vốn, giá thành,… để không bị ảnh hưởng đến các bảng dữ liệu khác khi cần tính toán và cập nhật.
- Thực hiện phân luồng cơ sở dữ liệu của việc nhập liệu và khai thác hệ thống báo cáo, cần phải tách thành các cơ sở dữ liệu riêng để khai thác kết hợp với giải pháp kỹ thuật đồng bộ always-on của SQL Server.
- Sẵn sàng có các giải pháp tính toán ước lượng bằng các tool đo đếm trong SQL, để đưa các phương án tối ưu cho việc tính toán việc ảnh hưởng đến tốc độ cả hệ thống (ở một số thời điểm có thể hạn chế một số tính năng không quan trọng, nhằm ưu tiên tài nguyên xử lý những tính năng, cập nhật, khai thác tại thời điểm phát sinh dữ liệu nhiều).
3. Đối với doanh nghiệp: Nên nâng cao năng lực hệ thống phần cứng
- Đầu tư hệ thống phần cứng (hạ tầng server: các thông số quan trọng: CHIP, RAM, Ổ cứng) để đáp ứng khối lượng dữ liệu lớn. Cấu hình hạ tầng server được phân tích dựa trên:
Khối lượng dữ liệu: Thống kê toàn bộ các nghiệp vụ của toàn bộ Khối/Phòng ban/Trung tâm/Chi nhánh theo ngày (lấy ngày phát sinh cao điểm nhất)/theo tháng/theo năm. Thêm vào đó cần ước lượng tốc độ tăng trưởng hàng năm, để lên cấu hình cho hạ tầng sử dụng từ 3 – 5 năm; Tính toán để sẵn khả năng mở rộng nâng cấp khi cần thiết;
Số lượng người sử dụng truy cập đồng thời tại một thời điểm: Tính toán, ước lượng tốc độ tăng trưởng về số người sử dụng (do mở rộng kinh doanh, hoặc dự kiến tích hợp nhiều mảng nghiệp vụ trong tương lai gần 3 – 5 năm).
- Đầu tư phần mềm quản trị cơ sở dữ liệu phiên bản dành cho doanh nghiệp lớn có khối lượng dữ liệu lớn và rất lớn: Microsoft SQL Server 2019 Enterprise, nhằm tăng performance cho hệ thống;
- Sử dụng giải pháp HA (High Availability): Sử dụng nền tảng Window Server Failover Clustering (WSFC) của WINDOWS SERVER và ALWAYS ON của SQL Server.
Giải pháp HA đảm bảo tính sẵn sàng cao của hệ thống, đảm bảo hệ thống hoạt động liên tục và ổn định: trong trường hợp máy chủ chính gặp sự cố thì máy chủ phụ sẽ đảm nhiệm vai trò thay thế
Sử dụng giải pháp để tăng performance cho hệ thống trên cơ sở tận dụng tối đa cấu hình của máy chủ phụ dự phòng: Trên cơ sở giải pháp HA, tận dụng nguồn tài nguyên hạ tầng server dự phòng của giải pháp HA, hệ thống cho phép chia tách 2 nhiệm vụ: Đọc và Ghi dữ liệu thực hiện trên 2 server khác nhau. Như vậy hệ thống sẽ đảm bảo quá trình khai thác báo cáo, không ảnh hưởng tới tốc độ xử lý khi nhập liệu chứng từ, tránh xung đột giữa hai nhiệm vụ và giải quyết hiện tượng deadlock hay xảy ra ở hệ thống lớn.
Nguồn: bravo.com.vn
Nơi lưu trữ dữ liệu (Data Storage)
Xử lý dữ liệu theo lô (Batch Processing)
Thu thập dữ liệu thời gian thực (Real-time Message Ingestion)
Xử lý dữ liệu theo luồng (Stream Processing)
Nơi lưu trữ dữ liệu phân tích (Analytical Data Store)
Phân tích và báo cáo (Analysis and Reporting)
Điều phối (Orchestration)
Sau khi tìm hiểu, dựa trên nguồn lực cốt lõi và tư duy, từng nhà cung cấp sẽ có giải pháp xử lý khác nhau. Dưới đây là 1 số phương án theo kinh nghiệm và năng lực về công nghệ từ sản phẩm của chúng tôi. Mời bạn đọc tham khảo:
1. Thiết kế cơ sở dữ liệu: tối ưu về cấu trúc các kiểu trường dữ liệu/cột/bảng
- Tối giảm dung lượng các bản ghi: dùng kiểu dữ liệu đúng theo nhu cầu, tránh trùng lắp/thừa thông tin.
- Chia partition theo chiều ngang (horizontal partitioning): tách các cột thông tin thành nhiều bảng liên kết theo tính chất và tần suất truy xuất.
- Chia partition theo chiều dọc – theo dữ liệu phát sinh (vertical partitioning): chia bảng dữ liệu theo các yếu tố như đơn vị cơ sở/chi nhánh/năm làm việc…
Có thể kết hợp thêm với việc cấu hình tính năng partitioning của MS SQL Enterprise.
2. Thiết kế tính năng phần mềm
2.1. Tối ưu luồng dữ liệu vào/ra:
- Hệ thống chỉ tải những dữ liệu cần thiết theo đúng nhu cầu sử dụng, khai thác cho giao diện cũng như chỉ gửi lệnh cập nhật cho những thông tin thay đổi. Các câu lệnh được tối ưu giảm thiểu dung lượng và tăng tốc độ khi tải/tìm kiếm/cập nhật.
- Kỹ thuật phân trang khi tải dữ liệu (paging): tải và hiển thị dữ liệu theo trang từng trang.
2.2. Tối ưu trong xử lý nghiệp vụ:
- Các chứng từ nghiệp vụ được phân loại và lưu trữ riêng từng Table với các loại chứng từ có khối lượng phát sinh dữ liệu nhiều, đảm bảo tốc độ truy xuất nhanh. Ví dụ, chia nhỏ các bảng khác nhau cho các nghiệp vụ tính giá vốn, giá thành,… để không bị ảnh hưởng đến các bảng dữ liệu khác khi cần tính toán và cập nhật.
- Thực hiện phân luồng cơ sở dữ liệu của việc nhập liệu và khai thác hệ thống báo cáo, cần phải tách thành các cơ sở dữ liệu riêng để khai thác kết hợp với giải pháp kỹ thuật đồng bộ always-on của SQL Server.
- Sẵn sàng có các giải pháp tính toán ước lượng bằng các tool đo đếm trong SQL, để đưa các phương án tối ưu cho việc tính toán việc ảnh hưởng đến tốc độ cả hệ thống (ở một số thời điểm có thể hạn chế một số tính năng không quan trọng, nhằm ưu tiên tài nguyên xử lý những tính năng, cập nhật, khai thác tại thời điểm phát sinh dữ liệu nhiều).
3. Đối với doanh nghiệp: Nên nâng cao năng lực hệ thống phần cứng
- Đầu tư hệ thống phần cứng (hạ tầng server: các thông số quan trọng: CHIP, RAM, Ổ cứng) để đáp ứng khối lượng dữ liệu lớn. Cấu hình hạ tầng server được phân tích dựa trên:
Khối lượng dữ liệu: Thống kê toàn bộ các nghiệp vụ của toàn bộ Khối/Phòng ban/Trung tâm/Chi nhánh theo ngày (lấy ngày phát sinh cao điểm nhất)/theo tháng/theo năm. Thêm vào đó cần ước lượng tốc độ tăng trưởng hàng năm, để lên cấu hình cho hạ tầng sử dụng từ 3 – 5 năm; Tính toán để sẵn khả năng mở rộng nâng cấp khi cần thiết;
Số lượng người sử dụng truy cập đồng thời tại một thời điểm: Tính toán, ước lượng tốc độ tăng trưởng về số người sử dụng (do mở rộng kinh doanh, hoặc dự kiến tích hợp nhiều mảng nghiệp vụ trong tương lai gần 3 – 5 năm).
- Đầu tư phần mềm quản trị cơ sở dữ liệu phiên bản dành cho doanh nghiệp lớn có khối lượng dữ liệu lớn và rất lớn: Microsoft SQL Server 2019 Enterprise, nhằm tăng performance cho hệ thống;
- Sử dụng giải pháp HA (High Availability): Sử dụng nền tảng Window Server Failover Clustering (WSFC) của WINDOWS SERVER và ALWAYS ON của SQL Server.
Giải pháp HA đảm bảo tính sẵn sàng cao của hệ thống, đảm bảo hệ thống hoạt động liên tục và ổn định: trong trường hợp máy chủ chính gặp sự cố thì máy chủ phụ sẽ đảm nhiệm vai trò thay thế
Sử dụng giải pháp để tăng performance cho hệ thống trên cơ sở tận dụng tối đa cấu hình của máy chủ phụ dự phòng: Trên cơ sở giải pháp HA, tận dụng nguồn tài nguyên hạ tầng server dự phòng của giải pháp HA, hệ thống cho phép chia tách 2 nhiệm vụ: Đọc và Ghi dữ liệu thực hiện trên 2 server khác nhau. Như vậy hệ thống sẽ đảm bảo quá trình khai thác báo cáo, không ảnh hưởng tới tốc độ xử lý khi nhập liệu chứng từ, tránh xung đột giữa hai nhiệm vụ và giải quyết hiện tượng deadlock hay xảy ra ở hệ thống lớn.
Nguồn: bravo.com.vn
