我的一些robots.txt写法，参考了创建并提交 robots.txt 文件 | Google 搜索中心以及其他网站的一些robots.txt。
对现在高度智能的爬虫来说，1.中的限制可能是一种负担。
User-agent: *
Disallow:
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| /* | |
| * Motore: 一个受 Tower 启发的 Rust 异步中间件抽象库 | |
| * | |
| * 核心理念： | |
| * 1. `Service`: 代表一个异步服务 (Request -> Response)。 | |
| * 2. `Layer`: 代表中间件，它包装一个 `Service` 并返回一个新的 `Service`。 | |
| * 3. `Cx`: 一个可变的上下文，在整个调用链中传递，你可以使用它在整个调用链中传递数据（比如数据库连接、tracing span、用户信息等），这可是 Motore 的一大特色，也是与 Tower 的主要区别之一。 | |
| */ | |
| // ----------------------------------------------------------------------------- |