پاسخ : مشکل در دانلود یک وبسایت با دستور wget

ساخت وبلاگ
اینکه چطور به اون سایت مربوط می شین که واضحه. ولی اینکه چطور باید پیداشون کرد، تقریباً غیرممکنه. اگه صاحب یک سایت نخواد crawler ها به صفحه ی خاصی دسترسی پیدا کنن هیچ کس نمی تونه کاری کنه.
یکی از راه هایی که برای به دست آوردن sitemap هست استفاده از لینک زیره :

https://www.xml-sitemaps.com/details-hosseinmohri.com-a272ddd44.html

همون طور که می بینین اثری از url هایی مثل http://www.hosseinmohri.com/amini.html وجود نداره.

ولی ممکنه این سوال براتون پیش بیاد که چطور گوگل توی نتایج جستجوش اون صفحات رو میاره :
https://www.google.com/search?client=firefox-b-ab&q=site%3Ahosseinmohri.com

در جواب باید بگم لینک اون صفحات قبلاً توی صفحه ی اصلی وجود داشته ولی به دلایل نامعلومی صاحب سایت اون لینک ها رو کامنت کرده و دیگه لود نمی شن. ولی گوگل چون قبلاً اون صفحات رو ایندکس کرده بوده مشکل وی نداره.

برای مثال این cache رو از صفحه ی home ببینین :
https://web.archive.org/web/20180429013251/http://www.hosseinmohri.com:80/

در واقع اومدن و از صفحه ی اول این محتوی رو کامنت کردن که باعث شده لینک های مدنظر شما از دسترس خارج بشن :

<!--

< class="sub3"><a href="home.html">Home</a>
 
    < class="sub3"><a href="bio.html">بیوگرافی</a>
    < class="sub3">
      <a href="book.html">تألیفات حسین مهری</a>
       < class="sub3"><a href="contact.html">نظریات و پیشنهاد های شما </a></p>
    </th>
  </tr>
<tr>
    <td colspan="3" align="center" ><h2 class="sub3">مصاحبه های حسین مهری با شخصیتهای ایرانی در عرصه سیاست و فرهنگ</h2></td>
  </tr> 
   <tr>
    <td height="55"><h2>1</h2></td>
    <td><h2><a href="amini.html">مصاحبه های حسین مهری با محمد امینی</a></h2></td>
    <td><A HREF="javascript:popUp('image/amini.jpg')"><img src="image/amini.jpg" width="100" height="80" onmouseover="this.src='image/amini.jpg';this.height=125;this.width=165" onmouseout="this.src='image/amini.jpg';this.height=60;this.width=80"></A></td>
  </tr> 
    <tr>
    <td height="55"><h2>2</h2></td>
    <td><h2><a href="mohri_fatemi_jan31.mp3">مصاحبه حسین مهری با دکتر شاهین فاطمی</a></h2>    <h2><a href="mohri_fatemi_jan31.mp3" target="_blank">جمعه ٢٨ دسامبر ٢٠١٢</a></h2></td>
    <td><A HREF="javascript:popUp('image/fatemi.jpg')"><img src="image/fatemi.jpg" width="80" height="80" onmouseover="this.src='image/fatemi.jpg';this.height=125;this.width=125" onmouseout="this.src='image/fatemi.jpg';this.height=60;this.width=80"></A> </td>
  </tr>
   <tr>
    <td width="21" ><h2>3</h2></td>
    <td width="644"><h2><a href="moshiri.html" target="_blank">مصاحبه های حسین مهری با بهرام مشیری
    </a></h2></td>
    <td width="257"><A HREF="javascript:popUp('image/moshiri.jpg')"><img src="image/moshiri.jpg" width="100" height="80" onmouseover="this.src='image/moshiri.jpg';this.height=125;this.width=165" onmouseout="this.src='image/moshiri.jpg';this.height=60;this.width=80"> </td>
  </tr>

  <tr>
    <td height="55"><h2>4</h2></td>
    <td><h2><a href="articles.html">مصاحبه دویچه وله با حسین مهری</a></h2></td>
    <td><A HREF="javascript:popUp('image/mohri3.jpg')"><img src="image/mohri3.jpg" width="100" height="80" onmouseover="this.src='image/mohri3.jpg';this.height=125;this.width=165" onmouseout="this.src='image/mohri3.jpg';this.height=60;this.width=80"></A> </td>
 
  </tr>
   

<tr>
    <td height="55"><h2>5</h2></td>
    <td><h2><a href="andisheh.html">مصاحبه های حسین مهری در تلویزیون اندیشه</a></h2></td>
    <td>&nbsp;</td>
 
  </tr>
  <tr>
    <td height="55"><h2>6</h2></td>
    <td><h2><a href="milani.html" target="_blank">مصاحبه های حسین مهری با عباس میلانی</a>
</h2></td>
    <td><A HREF="javascript:popUp('image/milani.jpg')"><img src="image/milani.jpg" width="100" height="80" onmouseover="this.src='image/milani.jpg';this.height=125;this.width=165" onmouseout="this.src='image/milani.jpg';this.height=60;this.width=80"></td>
  </tr>

  </tr>

</table>
-->


اگه این لینک ها کامنت نشده بودن با این دستور و می تونستین صفحات اون رو دانلود و کنین :
wget -r -l0 hosseinmohri.com
ولی الان باید صفحه به صفحه دانلود کنین.

لینک هایی که به دلایل نامعلوم کامنت شدن اینا هستن :

hosseinmohri.com/home.html
hosseinmohri.com/bio.html
hosseinmohri.com/book.html
hosseinmohri.com/contact.html
hosseinmohri.com/amini.html
hosseinmohri.com/image/amini.jpg
hosseinmohri.com/mohri_fatemi_jan31.mp3
hosseinmohri.com/image/fatemi.jpg
hosseinmohri.com/moshiri.html
hosseinmohri.com/image/moshiri.jpg
hosseinmohri.com/articles.html
hosseinmohri.com/image/mohri3.jpg
hosseinmohri.com/andisheh.html
hosseinmohri.com/milani.html
hosseinmohri.com/image/milani.jpg
اوبونتو...
ما را در سایت اوبونتو دنبال می کنید

برچسب : نویسنده : استخدام کار ubuntu بازدید : 242 تاريخ : چهارشنبه 5 دی 1397 ساعت: 16:29