Tạo sổ TH NXT với tốc độ nhanh nhất, dữ liệu hơn 1 triệu dòng.

Quảng cáo

Hau151978

Thành viên tích cực
Tham gia ngày
19 Tháng mười 2011
Bài viết
1,419
Được thích
1,355
Điểm
868
Cảm ơn anh Hậu, e đọc tài liệu và bài tập thực hành vẫn còn lơ tơ mơ quá ạ.

Tỷ tỷ mắng chuẩn, ngày báo cáo cần phải lấy từ sheet báo cáo mới cơ động, ko thể lấy từ Data, e sẽ sửa ngay, sửa ngay.
Sau khi query 5 table thì nên dùng power pivot để tính, anh thử thấy nhanh hơn hẳn, CPU cũng chỉ hoạt động tới 50%.
 

Cá ngừ F1

Thành viên gắn bó
Thành viên BQT
Moderator
Tham gia ngày
1 Tháng một 2008
Bài viết
2,121
Được thích
3,241
Điểm
1,918
Tuổi
38
Nơi ở
Đảo Đào Hoa
Sau khi query 5 table thì nên dùng power pivot để tính, anh thử thấy nhanh hơn hẳn, CPU cũng chỉ hoạt động tới 50%.
Power pivot liệu có show hết được cả bảng danh mục hàng hoá lên ko anh? Như có tỷ tỷ góp ý, những mặt hàng ko phát sinh j sẽ ko lên báo cáo.
 

Hau151978

Thành viên tích cực
Tham gia ngày
19 Tháng mười 2011
Bài viết
1,419
Được thích
1,355
Điểm
868
Anh tưởng nhập xuất tồn thì phải báo cáo tất chứ, những mặt hàng không phát sinh thì vẫn "tồn" mà. Nhưng thôi tỷ tỷ đã nói là đúng, mình dân ngoại đạo phải tiếp thu học hỏi. Thêm cột phụ cộng mấy số nhập xuất xem có bằng 0 không rồi lọc. Danh mục vẫn xuất được mà.
 

File đính kèm

  • MillionRow-VBA-Dictionary-PQ_OnlineFromOneDrive - Copy.xlsm
    3.9 MB · Đọc: 11

excel_lv1.5

Thành viên tích cực
Tham gia ngày
20 Tháng mười 2017
Bài viết
829
Được thích
1,473
Điểm
568
Power pivot liệu có show hết được cả bảng danh mục hàng hoá lên ko anh? Như có tỷ tỷ góp ý, những mặt hàng ko phát sinh j sẽ ko lên báo cáo.
Power query view trước, nên mọi tính toán nó sẽ load lại hết nên nó rất phụ thuộc vào connect, dùng Sum mà nó còn delay khá lâu, đối vối dữ liệu như vầy dùng Dax+modeling (power pivot) là chuẩn.

Anh tưởng nhập xuất tồn thì phải báo cáo tất chứ, những mặt hàng không phát sinh thì vẫn "tồn" mà. Nhưng thôi tỷ tỷ đã nói là đúng, mình dân ngoại đạo phải tiếp thu học hỏi. Thêm cột phụ cộng mấy số nhập xuất xem có bằng 0 không rồi lọc. Danh mục vẫn xuất được mà.
Bạn dùng Power pivot tạo relationship sao còn tạo calculated column chi cho load nặng, nếu dùng mọi tính toán nên dùng mearsure, có relationship mà bạn dùng earliervà lookupvalue là hạn chế tốc độ rồi, với cái nữa là nên tạo các table key để hạn chế filter các bảng 1 triệu dòng và vài chục triệu
Một cách dùng power pivot (mượn file của bạn) , khi thay đổi thời gian load table thời gian không load lại toàn bộ source (do source đã được import), máy tôi load tầm 1s xong (tính từ lần refresh thứ 2)
1606528670287.png
 

File đính kèm

  • MillionRow-VBA-Dictionary.xlsx
    3.8 MB · Đọc: 13

ptm0412

Bad Excel Member
Thành viên BQT
Super Moderator
Tham gia ngày
4 Tháng mười một 2007
Bài viết
10,335
Được thích
30,585
Điểm
9,718
Tuổi
59
Nơi ở
Gò Vấp
Anh tưởng nhập xuất tồn thì phải báo cáo tất chứ, những mặt hàng không phát sinh thì vẫn "tồn" mà. Nhưng thôi tỷ tỷ đã nói là đúng, mình dân ngoại đạo phải tiếp thu học hỏi. Thêm cột phụ cộng mấy số nhập xuất xem có bằng 0 không rồi lọc. Danh mục vẫn xuất được mà.
Mặt hàng có tồn không phát sinh vẫn lên báo cáo
Mặt hàng không tồn mà có phát sinh cũng lên báo cáo
Chỉ có mặt hàng không tồn cũng không phát sinh mới không lên báo cáo. Những mặt hàng không tồn không phát sinh lâu ngày coi như mặt hàng chết sẽ bị xoá hoặc đánh dấu xoá khỏi danh mục.
máy mình mở lên giờ bị lỗi này
mấy cái API
File này không chạy trên Excel 64 bit Thầy ơi, em dùng Excel 2013
Xoá hết module đó luôn cũng được, module kia thì chỉ giữ lại sub Lapso, các sub kia xoá luôn. Muốn ghi thời gian thì tự viết vài dòng lệnh Msgbox thời gian. Chủ đề này khá lâu rồi, bây giờ @Cá ngừ F1 đào lại chạy Power query nên không cần code nữa đâu.
 

ptm0412

Bad Excel Member
Thành viên BQT
Super Moderator
Tham gia ngày
4 Tháng mười một 2007
Bài viết
10,335
Được thích
30,585
Điểm
9,718
Tuổi
59
Nơi ở
Gò Vấp
Power query view trước, nên mọi tính toán nó sẽ load lại hết nên nó rất phụ thuộc vào connect, dùng Sum mà nó còn delay khá lâu, đối vối dữ liệu như vầy dùng Dax+modeling (power pivot) là chuẩn.
Bạn dùng Power pivot tạo relationship sao còn tạo calculated column chi cho load nặng, nếu dùng mọi tính toán nên dùng mearsure, có relationship mà bạn dùng earliervà lookupvalue là hạn chế tốc độ rồi, với cái nữa là nên tạo các table key để hạn chế filter các bảng 1 triệu dòng và vài chục triệu
Một cách dùng power pivot (mượn file của bạn) , khi thay đổi thời gian load table thời gian không load lại toàn bộ source (do source đã được import), máy tôi load tầm 1s xong (tính từ lần refresh thứ 2)
Như đã nói bên chủ đề bài thực hành, nhờ bạn @excel_lv1.5 khi nào rảnh viết tài liệu về DAX cho mọi người học hỏi. Power query có thế mạnh của nó nhưng phải phối hợp cùng anh em của nó là Data model và DAX mới phát huy sức mạnh tuyệt đỉnh. Cám ơn bạn trước.
 

tigertiger

Coming back ...
Tham gia ngày
25 Tháng một 2007
Bài viết
1,782
Được thích
1,658
Điểm
1,168
Như đã nói bên chủ đề bài thực hành, nhờ bạn @excel_lv1.5 khi nào rảnh viết tài liệu về DAX cho mọi người học hỏi. Power query có thế mạnh của nó nhưng phải phối hợp cùng anh em của nó là Data model và DAX mới phát huy sức mạnh tuyệt đỉnh. Cám ơn bạn trước.
Nên tổ chức 1 buổi thảo luận (trao đổi) online cho mọi người hợp sức cùng hiểu và phát triển.
Vì ngày càng nhiều bài viết cần xử lý dữ liệu nhiều (lớn) - và ứng dụng Power pivot, query- làm người dùng phải quen và buộc làm theo sự chuẩn hóa về dữ liệu hoặc biết học cách chuẩn hóa dữ liệu hơn
 
Quảng cáo
Top Bottom