検索エンジンに登録されないなと思ったらrobots.txt がある

$ curl https://snac.kagolug.org/robots.txt
User-agent: *
Disallow: /

snac にハードコードされている

httpd.c

321 | | if (strcmp(q_path, "/robots.txt") == 0) {
1 | | | | status = HTTP_STATUS_OK;
2 | | | | *ctype = "text/plain";
3 | | | | body = xs_str_new("User-agent: \n"
4 | | | | | | | | | | | | | | "Disallow: /\n");
5 | | }