Web Scraping với n8n — Thu thập dữ liệu không cần code

Web scraping là gì và ứng dụng thực tế

Web scraping là kỹ thuật tự động thu thập dữ liệu từ các trang web. Thay vì copy-paste thủ công, bạn để máy tự truy cập trang, trích xuất thông tin cần thiết và lưu vào database. Với n8n, quá trình này trở nên đơn giản hơn bao giờ hết — không cần viết Python hay NodeJS.

Các ứng dụng phổ biến

• Thu thập giá sản phẩm đối thủ trên Shopee, Lazada
• Theo dõi tin tức ngành từ các trang báo
• Scrape danh sách công ty từ trang vàng, directory
• Thu thập review sản phẩm để phân tích sentiment
• Monitor giá vé máy bay, khách sạn

Công cụ scraping trong n8n

n8n cung cấp nhiều node hỗ trợ scraping:

• HTTP Request — Gửi GET request lấy HTML của trang web
• HTML — Parse HTML, trích xuất dữ liệu bằng CSS selector
• Code — Xử lý dữ liệu phức tạp bằng JavaScript
• Item Lists — Thao tác với danh sách kết quả

Workflow 1: Scrape giá sản phẩm từ e-commerce

Thiết lập từng bước

1. Schedule Trigger — Chạy mỗi ngày lúc 6h sáng để cập nhật giá mới nhất.
2. HTTP Request — Gửi GET request đến URL sản phẩm:

   URL: https://example-shop.com/san-pham/ten-san-pham
   Method: GET
   Headers:
     User-Agent: Mozilla/5.0 (compatible; n8nBot/1.0)

3. HTML node — Parse response HTML:

   // CSS Selectors
   Tên sản phẩm: .product-title h1
   Giá gốc: .original-price span
   Giá khuyến mãi: .sale-price span
   Rating: .product-rating .score
   Số lượt bán: .sold-count

4. Set — Chuẩn hóa dữ liệu, format giá thành số, thêm timestamp.
5. Google Sheets — Append kết quả vào sheet tracking giá.
6. IF — So sánh giá hôm nay với hôm qua. Nếu giảm hơn 10%, gửi alert.
7. Telegram — Thông báo “Sản phẩm X giảm giá 15%! Giá mới: 500.000đ”.

Workflow 2: Thu thập tin tức hàng ngày

Mô tả

Tự động scrape tiêu đề, tóm tắt và link bài viết từ nhiều trang tin tức, tổng hợp thành bản tin gửi qua email mỗi sáng.

1. Schedule Trigger — 7h sáng hàng ngày.
2. HTTP Request — Lần lượt gọi 5-10 trang tin (sử dụng Split In Batches để tránh rate limit).
3. HTML — Trích xuất tiêu đề (h2.article-title a), mô tả (.article-excerpt), link (h2.article-title a[href]).
4. Code node — Lọc bỏ tin trùng lặp, sắp xếp theo độ liên quan:

   const keywords = ['n8n', 'automation', 'AI', 'startup'];
   const items = $input.all();
   
   const filtered = items.filter(item => {
     const title = item.json.title.toLowerCase();
     return keywords.some(kw => title.includes(kw));
   });
   
   return filtered.sort((a, b) =>
     b.json.relevance_score - a.json.relevance_score
   );

5. Send Email — Tạo email HTML đẹp mắt với danh sách tin tức.

Workflow 3: Scrape danh sách doanh nghiệp

Thu thập thông tin doanh nghiệp từ trang directory để xây dựng danh sách lead:

• Tên công ty, địa chỉ, số điện thoại, email, website
• Sử dụng HTTP Request kết hợp pagination: scrape trang 1, 2, 3… đến hết
• Dùng Loop Over Items node để xử lý từng trang
• Lưu kết quả vào Airtable hoặc Google Sheets

Xử lý anti-scraping

Nhiều trang web có cơ chế chống scraping. Một số kỹ thuật xử lý:

• Rate limiting: Dùng Wait node giữa các request (đợi 2-5 giây)
• User-Agent rotation: Thay đổi User-Agent header trong HTTP Request node
• Proxy: Cấu hình proxy trong HTTP Request settings
• JavaScript rendering: Nếu trang dùng SPA, sử dụng headless browser qua Execute Command node kết hợp Puppeteer

Lưu ý pháp lý

Khi scraping, luôn tuân thủ:

• Kiểm tra robots.txt của website
• Không scraping dữ liệu cá nhân vi phạm GDPR/luật privacy
• Đặt rate limit hợp lý, không gây quá tải server
• Ưu tiên sử dụng API chính thức nếu có

Kết luận

n8n biến web scraping từ công việc cần kỹ năng lập trình thành quy trình kéo thả đơn giản. Kết hợp với schedule trigger, bạn có hệ thống thu thập dữ liệu chạy tự động 24/7 phục vụ cho marketing, sales và business intelligence.

Tham khảo: n8n Documentation · GitHub n8n

n8n có thể tự động hóa những gì?

n8n có thể tự động hóa email, social media, CRM, e-commerce, backup, monitoring, AI workflows và hơn 400 tích hợp khác.

Có cần biết code để dùng n8n không?

Không bắt buộc. n8n có giao diện kéo thả trực quan. Tuy nhiên, biết JavaScript sẽ giúp bạn tạo workflow phức tạp hơn.