Sitemap и Robots.txt

Вот ещё полезная штука. Когда задумался написать свой  «Sitemap и Robots.txt» встал в ступор, э-ЭЭ!!
Надо разобраться с этим. Попытался найти это в интернет  сети, ещё больше запутался. Да как-же так-то?

Первое что что выдал поисковик вот оно чудо   

И тем более автор смело  предлагает копировать это чудо-файл, надо-бы ещё там почитать чем он занимается. Это для истории пригодится, и  афтар принимает заказы и зарабатывает на этом!   Да бежать надо от таких авторов и его работы. Он даже не понимает что он там написал.
Может оно и полезно, отчасти может, никто не против, каждый сходит с ума по своему.

Что такое WordPress ? это наверно готовый к использованию скрипт, не боле. Вырезать или что-то с ним делать это как резать по живому.
Этот скрипт готовит, ещё точнее фомирует из своего устройства(алгоритма) готовые страницы. Например: вы знаете где они лежат?  или где лежат ваши медиафайлы? Наверно где-то они есть и лежат, но вы их видете, прямо множите их посмотреть? на своем сервере или как-то отдельно выделить от всего остального.
Хорошо, медиа вы нашли в какой-то папке и что, так и будите каждую закрывать или наоборот открывать? Как вы это скажете роботу? Тут играй а ту нет?
Да роботу вообще плевать он хотел на ваши хотелки, не хотите, не будет он искать и обойдет стороной ваш сайт. У него свои задачи правила.
Вы знаете что он ищет и как настроен, он знает а вы? Для этого достаточно зайти в любой поисковик и прочитать правила формирования подобного файла. Между прочим, эти правила могут быть не только разные , но и изменяться со временем.

Ещё один важный момент. Эти инструменты сделаны не просто так, захотелось кому-то.
Много букав, но что делать если люди не понимают что пишут от слова вообще.