چگونه یک سایت را به طور کامل دانلود کنیم؟

احتمالا تاکنون از قابلیت ذخیره صفحات وب در مرورگر خود برای خواندن یک مقاله به شکل آفلاین یا آرشیو کردن آن استفاده کرده‌اید. خوشبختانه می‌توان همین کار را برای کل محتوای یک وب سایت انجام داد. ابزارهای مختلفی برای دانلود کامل وب سایت برای کامپیوتر و موبایل توسعه یافته‌اند که در ادامه مطلب به معرفی و نحوه کار با آن‌ها خواهیم پرداخت.

دانلود کامل وب سایت

 یکی از مهم‌ترین دلایلی که کاربران را مجبور دانلود کردن صفحات وب می‌کند؛ عدم دسترسی دائمی به اینترنت است. با شرایط موجود در کشور ما نیز، ذخیره کردن صفحات وب و وب سایت‌های دارای محتوای کاربردی می‌تواند امری معقولانه به نظر برسد. با این حال نباید فراموش کرد که روش گفته شده بیشتر برای دسترسی به محتوا کاربرد دارد؛ در نتیجه همچنان نمی‌توان از عملکردهای مبتنی بر اینترنت ابزارهای آنلاین هنگام عدم دسترسی به شبکه بهره گرفت.

۱. ذخیره کردن صفحات در مرورگر گوگل کروم

آسان‌ترین و سریع‌ترین راه برای دانلود کامل صفحات سایت، استفاده از قابلیت داخلی مرورگرها است. از آنجایی که گوگل کروم از محبوبیت نسبتا بالاتری در مقایسه با سایر مرورگرها در نزد کاربران برخوردار است، ابتدا به نحوه انجام این کار در مرورگر گفته شده خواهیم پرداخت.

• جهت ذخیره کردن صفحات وب در نسخه دسکتاپ مرورگر کروم تنها کافی است تا ابتدا به صفحه مورد نظر بروید و در ادامه روی منوی سه نقطه قرار گرفته در گوشه صفحه کلیک کنید.
• حالا از قسمت More tools گزینه Save page as را انتخاب نمایید.
• برای دسترسی سریع‌تر به این قابلیت می‌توانید از کلید ترکیبی Crtl + S در ویندوز یا Cmd + S در مک اواس کمک بگیرید.
• در نهایت هم نام و محل مورد نظر برای ذخیره شدن فایل‌های مربوطه را مشخص کنید و روی کلید Save بزنید.

• برای ذخیره کردن صفحات در نسخه اندروید گوگل کروم، پس از باز کردن وب سایت مورد نظر، روی آیکن سه نقطه «...» در گوشه بالایی صفحه بزنید.
• از منوی باز شده، آیکن دانلود (فلش سمت پایین) در بخش بالایی را لمس کنید.
• بعد از ذخیره شدن صفحه، می‌توانید دوباره با زدن آیکن سه نقطه و رفتن به قسمت Downloads، صفحات دریافت شده را در قسمت Pages مشاهده کنید.

• برای ذخیره آفلاین یک صفحه در مرورگر کروم آیفون و آیپد، صفحه مورد نظر را باز کنید و سپس روی آیکن به اشتراک‌گذاری (فلش رو به بالا) در گوشه سمت راست آدرس بار بزنید.
• از میان موارد نمایش داده شده، گزینه Add to Reading List را انتخاب کنید.
• برای دسترسی به صفحات دانلود شده می‌توانید روی آیکن سه نقطه «...» در گوشه پایینی صفحه مرورگر بزنید و به قسمت Reading List مراجعه کنید.
• در بخش Reading List انگشت خود را برای چند لحظه روی صفحه مورد نظر نگه دارید و از منوی باز شده گزینه Open Offline Version را بزنید.

۲. اپلیکیشن WebCopy

برنامه WebCopy یکی از بهترین برنامه‌های دانلود کامل سایت است. رابط کاربری مناسب و مدیریت دانلود‌ها بر اساس پروژه باعث شده است تا این عنوان به اپلیکیشنی محبوب میان کاربران ویندوز تبدیل شود. نحوه کار این برنامه به این صورت است که ابتدا شما URL وب سایت مورد نظر خود را در این برنامه وارد می‌کنید، سپس WebCopy به دنبال صفحه‌ها، عکس‌ها و لینک‌ها می‌رود.

این برنامه آنقدر این کار را انجام می دهد تا تمامی لینک‌ها، صفحات و محتوای عکسی و ویدیویی سایت را پیدا کند. سپس شما می‌توانید انتخاب کنید که کدام محتوا را دانلود کنید. برای مثال می‌توانید تنها عکس‌های وب سایت مورد نظر خود را دانلود کنید. یکی از ویژگی‌های این برنامه مدیریت پروژه‌هاست، یعنی شما می توانید همزمان چند وب سایت را با تنظیمات مشابه دانلود کنید. البته شاید بزرگ‌ترین مشکل این برنامه این باشد که اول سایت را اسکن کرده و بعد سوال می پرسد که چه چیزی را می‌خواهید دانلود کنید.

• پس از نصب و اجرای برنامه به داخل منوی «File» رفته و با کلیک روی گزینه «New» پروژه جدیدی را باز کنید
• «URL» سایت مورد نظر خود را داخل فیلد «WebSite» وارد کنید. می توانید از وب سایت تست خود این برنامه استفاده کنید
• دانلود خود را شخصی‌سازی کنید تا فقط عکس‌ها را دانلود کند. برای این کار از اینجا کمک بگیرید
• روی «Copy» کلیک کنید تا وب سایت دانلود شود
• با استفاده از میانبر «Ctrl + S» وب سایت دانلود شده را ذخیره کنید

پس از اتمام فرایند دانلود، می‌توانید وضعیت ذخیره‌سازی آفلاین موارد درخواست شده را در تب Results مشاهده کنید. تب Errors نیز به خطاهایی که در طی فرایند دانلود وب سایت رخ داده است، اختصاص دارد و تب Skipped هم برای مواردی است که دانلود نشده‌اند. اما مهم‌ترین قسمت Sitemap نام دارد که در آن می‌توانید ساختار کلی دایرکتوری سایت دانلود شده را مشاهده کنید.

برای باز کردن وب سایت‌های دانلود شده به این روش، به فولدری که برای ذخیره فایل‌ها انتخاب کرده‌اید، بروید و فایل index.html را در مرورگر خود باز کنید. همچنین توجه داشته باشید که آخرین نسخه از این برنامه برای عملکرد صحیح نیازمند Net Framework مایکروسافت نسخه ۴.۶ یا جدیدتر است.

لینک دانلود رایگان برنامه WebCopy برای ویندوز

۳. اپلیکیشن HTTrack

برنامه HTTrack کمی شناخته شده‌تر از WebCopy است ولی رابط کاربری جذابی ندارد؛ اما از برنامه‌های دیگر ساده‌تر و کاربردی‌تر است. نحوه کار با این برنامه نیز مشابه اپ قبلی بوده و زیاد تفاوت خاصی ندارند.

• برنامه را نصب و اجرا کنید
• روی گزینه «Next» کلیک کنید
• به پروژه خود اسم دهید و دوباره روی «Next» کلیک کنید
• گزینه «Download Website» را انتخاب کرده و آدرس سایت خود را در فیلد مربوطه وارد کنید
• می‌توانید روی گزینه «Set Options» کلیک کرد و برای پروژه خود شرط تعیین کنید (مثلا دانلود عکس‌ها)
• گزینه «Next» را زده و در صفحه بعد روی گزینه «Finish» کلیک کنید

خوشبختانه برنامه HTTrack دارای نسخه مختص به سیستم عامل لینوکس نیز هست که نحوه استفاده از آن در پایین توضیح داده شده است.

• ابتدا وارد ترمینال شوید و سپس دستور زیر را در آن وارد کنید.

sudo apt-get install httrack

• در این مرحله احتمال دارد از شما رمز عبور سیستم جهت نصب برنامه جدید درخواست شود. رمز عبور خود را وارد کنید و سپس کلید Enter را بزنید. فرایند دانلود پس از چند دقیقه به اتمام می‌رسد.
• اکنون دستور زیر را در ترمینال وارد نموده و کلید Enter را بزنید. توجه داشته باشید که به جای آدرس اینترنتی زیر که در انتهای دستور قرار گرفته، می‌توانید آدرس وب سایت مورد نظر خود را جایگزین کنید.

httrack https://www.brainpickings.org

لینک دانلود رایگان برنامه HTTrack برای ویندوز و لینوکس

۴. اپلیکیشن SiteSucker

اگر از کاربران مک هستید، نیازی به نگرانی نیست. شما همچنان می‌توانید سایت‌های مورد علاقه خود را دانلود کنید. راه‌حل آن در برنامه SiteSucker است. مشابه تمام برنامه‌های سیستم‌عامل مکینتاش، این برنامه رابط کاربری کاربردی و ساده‌ای دارد. همچنین این اپ می‌تواند، علاوه بر عکس‌ها و فیلم‌ها، PDF‌ های موجود در سایت را نیز برای شما ذخیره کند.

• آدرس سایت مورد نظر خود را در فیلد URL وارد کنید
• Enter بزنید

این تمام کاری است که شما باید انجام دهید. باقی مراحل را به عهده SiteSucker بگذارید. از ویژگی‌های منحصر به فرد این برنامه هم می‌توان به ساخت فایل از سایت دانلود شده اشاره کرد. به کمک این ویژگی، کاربران می‌توانند دانلود‌های خود را موقتا متوقف کنند و در زمان مناسب، دانلود کامل سایت را از سر بگیرند. این فایل حتی در سیستم‌های مکینتاش دیگر نیز قابلیت شروع مجدد دانلود را دارد.

البته باید خاطر نشان کرد که SiteSucker نسخه رایگان با کارایی محدود یا نسخه آزمایشی ندارد و از همان اول باید ۵ دلار برای خریداری آن پول پرداخت کنید. همچنین آخرین نسخه این برنامه کاربردی تنها روی سیستم‌عامل‌های macOS 10.13 یا High Sierra به بعد کار می‌کند. در صورتی که نسخه مکینتاش شما قدیمی‌تر است، می‌توانید از دیگر نسخه‌های موجود در سایت SiteSucker بهره ببرید.

۵. اپلیکیشن Wget

با این حال زمانی می‌رسد که کاربران حرفه‌ای‌تر حوصله سر و کله زدن با این برنامه‌ها را ندارند و علاقه دارند تا از دستورات متنی و کد نویسی برای دانلود کامل سایت استفاده کنند. این ابزار، بر پایه کد نویسی به سبک کامند لاین بنا شده است که به خوبی به مذاق کاربران حرفه‌ای‌تر خوش خواهد آمد. نسخه پورت شده Wget برای ویندوز را می‌توانید از این لینک دریافت کنید.

• فایل «WGET.exe» دانلود شده را درون مسیر  «c:\Windows\System32» قرار دهید
• سپس در ترمینال ویندوز عبارت «wget -h» را تایپ کنید تا از صحت عملکرد آن مطمئن شوید
• در صورتی که کدهای نمایش داده شده با عکس زیر تطابق داشت می‌توانید ادامه مراحل را دنبال کنید

پس از این که از صحت این کد دستوری اطمینان حاصل کردید، باید برای سایتی که می‌خواهید ذخیره داشته باشد، یک دایرکتوری درست کنید. برای این کار دستورات زیر را دنبال کنید:

• ابتدا عبارت «..cd» را تایپ کنید تا مستقیما به دایرکتوری درایو c منتقل شوید
• دستور «md wgetdown» را در «cmd» وارد کنید
• سپس برای دانلود سایت از دستور «wget -r https://www.digiato.com» استفاده کنید

ابزار Wget به صورت پیش‌فرض در اغلب توزیع‌های لینوکس گنجانده شده است. البته کاربرد اصلی آن دانلود فایل‌ها و صفحات تکی است، اما می‌توان از آن برای ذخیره کردن کامل یک وب سایت به شکل آفلاین نیز کمک گرفت. به این منظور دستور زیر را در ترمینال وارد کنید و کلید Enter را بزنید. می‌توانید آدرس قرار گرفته در انتهای دستور را با آدرس وب سایت یا صفحه مورد نظر جایگزین کنید.

wget -r -p https://www.makeuseof.com

البته گاهی اوقات برخی از وب سایت‌ها جلوی اجرای دستور بالا را می‌گیرند؛ زیرا دانلود کردن تمامی محتوای یک وب سایت می‌تواند پهنای باند نسبتا زیادی را به خود اختصاص دهد. برای رفع این مشکل می‌توانید دستور خود را در قالب یک مرورگر جا بزنید. برای این کار دستور زیر را در ترمینال تایپ کرده و کلید Enter را وارد کنید.

wget -r -p -U Mozilla https://www.thegeekstuff.com

ابزار Wget دارای امکانات مختلف دیگری هم هست. برای مثال جهت جلوگیری از فشار آمدن به سرورهای وب سایت‌ها، کاربران می‌توانند سرعت دریافت فایل‌ها را محدود کنند. برای این کار می‌توانید از دستور زیر کمک بگیرید.

wget -r -p -U Mozilla --wait=10 --limit-rate=35K https://www.???.com

کاربران دستگاه‌های مبتنی بر مک اواس نیز می‌توانند با استفاده از دستور Wget اقدام به دانلود کامل وب سایت ها کنند. البته پیش از آن، باید Homebrew را روی سیستم خود نصب کرده باشید؛‌ در غیر این صورت می‌توانید با دستور زیر اقدام به دریافت و نصب آن کنید.

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

بعد از دریافت Homebrew قادر خواهید بود به کمک دستور زیر اقدام به دانلود و نصب Wget کنید.

brew install wget

پس از به اتمام رسیدن فرایند نصب، از دستور زیر برای دانلود کامل وب سایت ها کمک بگیرید.

wget path/to/local.copy http://www.brainpickings.org

۶. دانلود کامل وب سایت ها با برنامه Teleport Pro

برنامه Teleport Pro یکی از عناوین مختص به ویندوز است که در سال ۲۰۱۵ برای دانلود کامل وب سایت طراحی و منتشر شده است. در کنار ذخیره ساده و سریع صفحات، این اپ قابلیت‌های متنوع دیگری مثل جستجوی نوع خاصی از فایل‌ها، جستجوی کلیدواژه‌های خاص و کپی کردن ساختار کلی یک وب سایت را ارائه می‌دهد.

نسخه رایگان برنامه Teleport Pro دارای محدودیت‌هایی است. برای مثال کاربران تنها می‌توانند ۵۰۰ صفحه وب را از طریق هر پروژه دانلود نمایند. همچنین محدودیت کلی ۴۰ بار استفاده از آن هم در نظر گرفته شده است. خوشبختانه می‌توانید نسخه کرک شده این اپلیکیشن را از سایت‌های دانلود غیر رسمی نرم افزار دریافت کنید.

لینک دانلود برنامه Teleport Pro از سایت توسعه‌دهنده

سوالات متداول درباره دانلود کامل سایت

این مطلب توسط «کورش چایچی» نوشته شده و در تاریخ 13 آبان 1401 توسط «امیر امام جمعه» بروزرسانی شده است.