jcrawl4ai-mcp-server

• Java implementation of MCP Server for interacting with Crawl4ai API.
• Certified by mcpreview

Project Overview

jcrawl4ai-mcp-server is a Spring Boot-based MCP server that interacts with the Crawl4ai API to perform web crawling. The main functionalities include:

• Crawling specified URLs using a given strategy, maximum depth, and output format.
• Getting the crawl result by a given task ID.

Configuration

application.properties

Configure the following properties in the `src/main/resources/application.properties` file:

• `cawl4ai.base-url`: Base URL of the Crawl4ai server.
• `cawl4ai.api-token`: API token for the Crawl4ai server.

Example configuration:

cawl4ai.base-url=http://your-cral4ai-server-url:11235
cawl4ai.api-token=your-api-token

Dependencies

The project depends on the following libraries:

• Spring AI MCP Server
• Spring Boot
• Hutool

Running the Project

Build and run the project using Maven:

mvn clean install
java -jar target/jcawl4ai-mcp-server-1.0.0.jar

You can download the jar file from this link directly.

APIs

Crawl4aiApi

`crawl` Method

• Description: Call the Crawl4ai API to crawl the specified URLs.
• Parameters:
  • `urls`: Array of target website URLs.
  • `strategy`: Crawl strategy.
  • `max_depth`: Maximum depth.
  • `output_format`: Output format.
• Return Value: JSON string of the crawl result.

`task` Method

• Description: Get the crawl result by a given task ID.
• Parameters:
  • `taskId`: Task ID.
• Return Value: JSON string of the crawl result.

Logging

Log file path: `./target/mcp-stdio-server.log`.

MCP Server Configuration

{
  "mcpServers": {
    "jcawl4ai-mcp-server": {
      "autoApprove": [
        "crawl",
        "task"
      ],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/your/jar/file/jcawl4ai-mcp-server-1.0.0.jar"
      ],
      "transportType": "stdio"
    }
  }
}

Contact

If you have any questions or suggestions, please contact Ken Ye.

jcrawl4ai-mcp-server

Java 实现的 MCP 服务器，用于与 Crawl4ai API 进行交互。

项目概述

jcrawl4ai-mcp-server 是一个基于 Spring Boot 的 MCP 服务器，用于调用 Crawl4ai API 进行网页爬取。该项目的主要功能包括：

• 使用指定的策略、最大深度和输出格式对给定的 URL 进行爬取。
• 根据给定的任务 ID 获取爬取结果。

配置

application.properties

在 `src/main/resources/application.properties` 文件中配置以下属性：

• `cawl4ai.base-url`：Crawl4ai 服务器的基础 URL。
• `cawl4ai.api-token`：Crawl4ai 服务器的 API 令牌。

示例配置：

cawl4ai.base-url=http://your-cral4ai-server-url:11235
cawl4ai.api-token=your-api-token

依赖

项目依赖于以下库：

• Spring AI MCP Server
• Spring Boot
• Hutool

启动

使用 Maven 构建并运行项目：

mvn clean install
java -jar target/jcawl4ai-mcp-server-1.0.0.jar

您可以从以下链接中直接下载jar包: link

接口

Crawl4aiApi

`crawl` 方法

• 描述：调用 Crawl4ai API 爬取指定的 URL。
• 参数：
  • `urls`：目标网站的 URL 数组。
  • `strategy`：爬取策略。
  • `max_depth`：最大深度。
  • `output_format`：输出格式。
• 返回值：爬取结果的 JSON 字符串。

`task` 方法

• 描述：根据给定的任务 ID 获取爬取结果。
• 参数：
  • `taskId`：任务 ID。
• 返回值：爬取结果的 JSON 字符串。

日志

日志文件路径为 `./target/mcp-stdio-server.log`。

MCP Server 配置

{
  "mcpServers": {
    "jcawl4ai-mcp-server": {
      "autoApprove": [
        "crawl",
        "task"
      ],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/your/jar/file/jcawl4ai-mcp-server-1.0.0.jar"
      ],
      "transportType": "stdio"
    }
  }
}

联系

如果您有任何问题或建议，请联系 Ken Ye。