अपने robots.txt फ़ाइल को दृश्य रूप से उत्पन्न करें। नियंत्रण रखें कि खोज इंजन आपकी साइट के कौन-से क्षेत्रों का पता लगा सकते हैं।