<!DOCTYPE html>
<html>
<head>
<title></title>
<style type="text/css">p.MsoNormal,p.MsoNoSpacing{margin:0}</style>
</head>
<body><div>For me, making the group inclusive is a more important goal than making all of the discussions public.<br></div>
<div><br></div>
<div>A compromise alternative is to add a second mailing list, kwlug-private, and auto-subscribe all members to both lists. Most people will continue to use kwlug-disc as normal, but for the minority of cases where somebody wants to create a non-public posting or discussion thread, kwlug-private will be available for use.<br></div>
<div><br></div>
<div>Doug Moen.</div>
<div><br></div>
<div>On Fri, Dec 7, 2018, at 9:36 AM, Khalid Baheyeldin wrote:<br></div>
<blockquote type="cite"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>A few minutes of grepping through the logs of one of my sites ...<br></div>
<div><br></div>
<div>Drupal has this as part of the robots.txt:<br></div>
<div><br></div>
<div>Disallow: /comment/reply/<br></div>
<div><br></div>
<div>Despite that, the current log has the following bots still accessing these paths:<br></div>
<div><br></div>
<div>SemRush, a bot for ads and backlinks, <a href="https://www.semrush.com/bot/">https://www.semrush.com/bot/</a><br></div>
<div>Sogou - A Chinese crawler <a href="https://www.sogou.com/docs/help/webmasters.htm#07">https://www.sogou.com/docs/help/webmasters.htm#07</a><br></div>
<div>AlphaSEO Bot - +<a href="http://alphaseobot.com/bot.html">http://alphaseobot.com/bot.html</a><br></div>
<div><br></div>
<div>The point is: robots.txt is advisory in nature, not mandatory.<br></div>
<div><br></div>
<div>Back to the main point: many have voiced their objection to making the archives members only. So, is the consensus to tell those who want to join that this is the way it is, and if they don't want their messages to be public they should not join? Will this be our collective stance?<br></div>
<div><br></div>
</div>
</div>
</div>
</div>
<div><u>_______________________________________________</u><br></div>
<div>kwlug-disc mailing list<br></div>
<div><a href="mailto:kwlug-disc@kwlug.org">kwlug-disc@kwlug.org</a><br></div>
<div><a href="http://kwlug.org/mailman/listinfo/kwlug-disc_kwlug.org">http://kwlug.org/mailman/listinfo/kwlug-disc_kwlug.org</a><br></div>
</blockquote><div><br></div>
</body>
</html>