Robots.txt

задача - закрыть от индексации один раздел на сайте, страницы на нем не хранятся в отдельной папке, то есть url выглядит примерно так: mysite.com/page1.html mysite.com/page2.html и так далее
страницы из других разделов в таком же формате

вопрос:
будет ли корректным следующий файл robots.txt
User-agent: *
Disallow: /page1.html
Disallow: /page2.html
Disallow: /page3.html
Disallow: /page4.html
Disallow: /page5.html

спасибо

Вроде так, но только эти файлы у вас не лежат в 1-й папке судя по записи, а если лежат, то можно так:
User-agent: *
Disallow: название папки с файлами (где лежат page1.html, page2.html....)

еще вопрос, если на сайте есть папка data, a в ней еще папки, то как мне закрыть от индексации эти вложенные папки

Disallow: /data/upload/pictures

так будет правильно?

Если закрыть все вложенные папки, то правильно, при этом не будет индексироваться всё начиная с папки data и далее по вложенным. Если нужно закрывать поотдельности - прописывайте пути к каждой папке.

А как закрыть от индексации только папку pictures?

User-agent: *
Disallow: /pictures