File csv hơn 150Mb thì đọc bằng ứng dụng gì được ah? (1 người xem)

[Lequocvan]

Em dùng SQL xuất ra file csv hơn 150Mb thì dùng ứng dụng gì để mở file ah?

 

[ptm0412]

Excel, Google Sheets, Power BI

 

[befaint]

CSV là tập tin text.
Bạn dùng bất kỳ phần mềm Text Editor nào đọc được hết.
Ví dụ Sublime text, Notepad++

 

[Lequocvan]

Em dùng SQL xuất ra file csv hơn 150Mb thì dùng ứng dụng gì để mở file ah?

Em dùng klogg_portable để mở đã okei, nhưng lỗi font tiếng Việt có dấu , chắc do SQL của em chưa chọn đúng collation.

 

[befaint]

Liên quan Encoding này thì Notepad++ là ngon nhất đó.

 

[ongke0711]

Em dùng klogg_portable để mở đã okei, nhưng lỗi font tiếng Việt có dấu View attachment 287368, chắc do SQL của em chưa chọn đúng collation. View attachment 287369

Dùng cái ứng dụng đọc CSV của bác Tuân post gần đây đó, nhanh như thằng Klogg nhưng hỗ trợ trực quan hơn.

 

[Lequocvan]

Liên quan Encoding này thì Notepad++ là ngon nhất đó.

Em đang dùng SSDT, SQL Server Data Tools, kết hợp với Visual Studio Integration Services Project để import hàng loạt excel file cùng lúc, bản thân excel này có font .vnTime nên khi import vào SQL thì lỗi font. Em đang loay hoay tìm cách import hàng loạt cùng lúc tất cả xls vào mySQL trên macos mà chưa có giải pháp tối ưu ah.
Notepad++ mở nhanh, chỉnh font .vnTime bên excel là hiển thị

 

[VetMini]

Nhiều đồ chiến quá cho nên quên mất Access nó gần với Excel nhất.

 

[Kiều Mạnh]

làm theo chỉ dẫn bài số 3 là OK

còn sau khi mở lên làm gì với nó hay xử lý nó sao .... Tối quan Trộng hay chỉ xem thì Trộng quan Tối

Bài đã được tự động gộp: 8/3/23

Nếu bạn viết thêm 1 ngôn ngữ khác ngoài VBA như C/c++, Delphi, Python +... Thì nó có một số thư viện dựng sẳn hổ trợ xử lý File CSV lớn rất tốt

Còn thuần VBA thì nó rất chậm với file lớn .. mấy ngày qua Tôi vọc CSV trên Delphi mới thấy khác biệt khi load dữ liệu lên Form Delphi nó chạy rất

nhanh còn khi xuất Hàm người dùng thì ngược lại nhưng nó vẫn nhanh hơn rất nhiều dùng thuần VBA

Còn nhanh thế nào phải thử. chỉ có thử mới chốt được còn nói khơi khơi chỉ nghe cho vui thôi

 

[ongke0711]

Tối quan Trộng hay chỉ xem thì Trộng quan Tối

Đọc tới đọc lui nó nghĩa là sao nhỉ...???

 

[Kiều Mạnh]

Đọc tới đọc lui nó nghĩa là sao nhỉ...???

chờ đó chắc chắn có người vào dịch cho à

Bài đã được tự động gộp: 8/3/23

Trên Python có nhiều thư viện rất hay xử lý rất tốt File CSV lớn ...

Tôi lâu lâu vẫn đọc tài liệu python đấy ... để đón lỏng khi Delphi nó chuyển 1 số thư viện Python vào Delphi như 1 unit xong ta dùng

Hiện tại có rồi , cái có cái không và đang đang giai đoạn khởi đầu chưa ổn định nên chờ thôi .... @Lequocvan nếu có thời gian học thêm món python cũng hay đấy

 

[TH2]

làm theo chỉ dẫn bài số 3 là OK

còn sau khi mở lên làm gì với nó hay xử lý nó sao .... Tối quan Trộng hay chỉ xem thì Trộng quan Tối

Bài đã được tự động gộp: 8/3/23

Nếu bạn viết thêm 1 ngôn ngữ khác ngoài VBA như C/c++, Delphi, Python +... Thì nó có một số thư viện dựng sẳn hổ trợ xử lý File CSV lớn rất tốt

Còn thuần VBA thì nó rất chậm với file lớn .. mấy ngày qua Tôi vọc CSV trên Delphi mới thấy khác biệt khi load dữ liệu lên Form Delphi nó chạy rất

nhanh còn khi xuất Hàm người dùng thì ngược lại nhưng nó vẫn nhanh hơn rất nhiều dùng thuần VBA

Còn nhanh thế nào phải thử. chỉ có thử mới chốt được còn nói khơi khơi chỉ nghe cho vui thôi

VBA chắc chắn chậm hơn các cái kia rồi; vì VBA không có thuần từ bản chất, nó luôn gắn với application (Excel, Word, ...) , và chỉ là ngôn ngữ script. Nên so sánh là khác nhau

 

[Kiều Mạnh]

VBA chắc chắn chậm hơn các cái kia rồi; vì VBA không có thuần từ bản chất, nó luôn gắn với application (Excel, Word, ...) , và chỉ là ngôn ngữ script. Nên so sánh là khác nhau

Nói chung VBA tù lắm File CSV , text là dạng text nếu dùng VBA phổ thông như dùng Fso hay ADO thì nó cũng rất chậm

Chốt lại muốn nhanh và xử lý dữ liệu lớn thì tìm cách khác không phải VBA là ok ...

còn cách khác như C/c++, py, Delphi ................ tha hồ lựa chọn

 

[Nguyễn Duy Tuân]

Giới thiệu thêm cho bạn hàng Việt Nam đây. Phần mềm QuickCSV cho phép bạn mở file CSV với dung lượng lớn, cỡ 1->4 GB tốc độ mở vẫn nhanh, công cụ này chưa có mục convert TCVN3->Unicode (tính năng thuần Việt), hỗ trợ các encoding phổ biến, trích lọc và sửa dữ liệu thuận tiện. Các thông tin chi tiết giới thiệu tại đây: https://www.giaiphapexcel.com/diendan/threads/quickcsv-gộp-và-tách-nhiều-file-dữ-liệu-csv-json-txt-excel-tốc-độ-nhanh.163907/

 

[ongke0711]

Nhiều đồ chiến quá cho nên quên mất Access nó gần với Excel nhất.

Em cũng đã test qua mở cái file CSV (1tr6 dòng) bằng MS Access (dùng linked Table) thì tốc độ mở cũng ngang ngửa Notepad ++ nhưng trực quan hơn thằng Notepad. Thấy mở bằng Klogg và QuickCSV của bác Tuân là nhanh nhất.

Nếu file dùng chuẩn font Unicode thì Klogg cũng đọc đươc nhé bạn @Lequocvan. File của bạn phải chuẩn hóa về Font Unicode hết mới tương thích nhiều ứng dụng chứ thời buổi giờ mà vẫn còn xài .vntime thì sợ thật.

 

[VetMini]

Em cũng đã test qua mở cái file CSV (1tr6 dòng) bằng MS Access (dùng linked Table) thì tốc độ mở cũng ngang ngửa Notepad ++ nhưng trực quan hơn thằng Notepad. Thấy mở bằng Klogg và QuickCSV của bác Tuân là nhanh nhất.
...

Cũng như mọi lần khác, thớt này có tật hỏi ỡm ờ. Lần này chỉ hỏi "đọc", tức là mở ra xem chơi. Nói cách khác là chỉ xem nó có cái gì và [có thể] sẽ trích xuất ra một vài chỗ. (Lại đoán mò)
Vì vậy, phần mềm nào có khả năng mở nhanh không quan trọng bằng khả năng tìm kiếm, chỉnh sửa, copy/paste dễ và nhanh. Nếu tìm kiếm, chỉnh sửa là quan trọng thì phần mêm nào cho phép wildcards sẽ hiệu quả hơn.

Nếu thớt nghĩ đến Excel, nghĩ đến tổng hợp, phân tích,... thì nên tìm cái gần Excel nhất: đó là Access. Dẫu Access có mất cả 1/2 giờ để import thì cũng chỉ phải làm 1 lần. Các lần tham khảo sau thì là mở 1 table của Access.

 

[befaint]

Nếu thớt nghĩ đến Excel, nghĩ đến tổng hợp, phân tích,... thì nên tìm cái gần Excel nhất: đó là Access. Dẫu Access có mất cả 1/2 giờ để import thì cũng chỉ phải làm 1 lần. Các lần tham khảo sau thì là mở 1 table của Access.

Em được cái nhớ thông tin về thành viên.
Dữ liệu của thớt là dữ liệu của ngân hàng, dữ liệu rất nhiều, và không hề thiếu phần mềm hỗ trợ, Access vẫn nhỏ bé.

 

[Kiều Mạnh]

Tôi luôn luôn nghĩ rất đơn giản là thử và thử xem sao cái đã xong tính tiếp

1/ Lấy 1 File CSV có 1048570 dòng x 100 cột load lên Form xem tình hình sao

2/ Xuất mục số 1 ra file Excel hoặc ngược lại CSV với cái tên mới

3/ Mở file Excel xuất đó lên xem dữ liệu có lỗi hay không

4/ Mở lại File CSV mục số 2 đã xuất ngược ra đó xem sao

5/ lấy file CSV mục số 2 đã xuất ngược ra đó chèn vào Access xem sao

Thỏa mãn 5 mục trên xong tính tiếp ... còn tây hay ta họ nói gì kệ họ còn ta phải thử mọi cái xong chốt cũng còn rất sớm

 

[VetMini]

Em được cái nhớ thông tin về thành viên.
Dữ liệu của thớt là dữ liệu của ngân hàng, dữ liệu rất nhiều, và không hề thiếu phần mềm hỗ trợ, Access vẫn nhỏ bé.

Cái ngân hàng nào quá hà tiện.
Đã dữ liệu tràn ngập thế này thì người ta có chuyên viên chuyển dịch và trao đổi dữ liệu (data exchange/data migration).

 

[UltraExcel]

Nếu cần mở file csv dung lượng lớn > 1 GB đòi hỏi tốc độ mở nhanh nhất theo thứ tự là
1. Klogg, QuickCSV
2. Notepad++
Sublime cũng nổi tiếng nhưng chậm hơn nhiều so với mấy thằng trên.

Nếu mở file csv muốn tiện dụng cho tìm kiếm và chỉnh sửa, dung lượng khoảng > 50 MB và < 1 GB thì ưu tiên
1. MS Accesss
2. QuickCSV

Nếu file csv <50 MB thì Excel là số 1 vì chấp nhận được về tốc độ và thỏa sức sử dụng các tiện ích.