任务脚本生成

以下是一个完整的 JavaScript 脚本实现，该脚本使用 axios 获取页面数据，结合 cheerio 解析 HTML内容，并将包含页面标题和段落文字数据的 JSON 输出到本地文件。脚本还支持通过配置代理来抓取页面内容。

// 导入必要的库
const axios = require('axios'); // HTTP 请求库
const cheerio = require('cheerio'); // HTML 解析库
const fs = require('fs'); // 文件系统模块
const path = require('path'); // 路径模块

// 配置输入参数
const targetUrl = 'https://example.com/page'; // 要抓取的 URL
const outputFilePath = path.resolve(__dirname, 'data/page_data.json'); // 输出的 JSON 文件路径

const proxyConfig = {
  // 如果需要代理，在此指定
  useProxy: false, // 是否启用代理
  proxy: {
    host: '127.0.0.1', // 代理主机
    port: 8080, // 代理端口
  },
};

// 定义一个主函数
async function scrapeWebPage(url, outputFilePath) {
  try {
    // 配置 axios 请求选项
    const axiosConfig = {
      method: 'get',
      url: url,
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36',
      },
    };

    // 如果需要代理，则添加代理配置
    if (proxyConfig.useProxy) {
      axiosConfig.proxy = {
        host: proxyConfig.proxy.host,
        port: proxyConfig.proxy.port,
      };
    } else {
      axiosConfig.proxy = false; // 禁用代理
    }

    // 发起 HTTP 请求
    console.log(`正在抓取页面内容：${url}`);
    const response = await axios(axiosConfig);

    // 检查响应状态
    if (response.status !== 200) {
      throw new Error(`请求失败，状态码：${response.status}`);
    }

    // 解析 HTML 内容
    const html = response.data;
    const $ = cheerio.load(html);

    // 提取所需信息
    const pageTitle = $('title').text(); // 页面标题
    const paragraphs = []; // 存储段落文本的数组
    $('p').each((_, element) => {
      paragraphs.push($(element).text().trim());
    });

    // 构造 JSON 数据
    const pageData = {
      title: pageTitle,
      paragraphs: paragraphs,
      url: url,
    };

    // 将 JSON 数据写入文件
    fs.mkdirSync(path.dirname(outputFilePath), { recursive: true }); // 确保目录存在
    fs.writeFileSync(outputFilePath, JSON.stringify(pageData, null, 2), 'utf-8'); // 写入 JSON 文件

    console.log(`页面数据已成功抓取并保存到：${outputFilePath}`);
  } catch (error) {
    console.error(`发生错误：${error.message}`);
  }
}

// 执行主函数
scrapeWebPage(targetUrl, outputFilePath);

脚本说明：

1. 依赖库：

   • axios: HTTP 请求库，用于抓取网页内容。
   • cheerio: 用于解析和提取 HTML 文档中的内容。
   • fs 和 path: Node.js 自带的库，用于文件操作及路径管理。

2. 功能特性：

   • 抓取指定 URL 页面。
   • 提取页面的标题（<title>）和所有段落内容（<p>）。
   • 以 JSON 格式保存到指定的本地文件。

3. 代理支持：

   • 如果需要代理，可通过 proxyConfig 对象设置代理 host 和 port，并将 useProxy 设为 true。

4. 输入输出：

   • 输入：指定的 URL（targetUrl）。
   • 输出：保存到本地 JSON 文件（默认路径为 data/page_data.json）。

5. 运行方法：

   • 安装依赖：确保安装了 axios 和 cheerio，可以用以下命令安装：

     npm install axios cheerio
     

   • 执行脚本：

     node script.js
     

   注意将 script.js 替换为脚本文件的实际名称。

6. 输出 JSON 示例：

   {
     "title": "Example Page",
     "paragraphs": [
       "This is the first paragraph.",
       "This is the second paragraph.",
       "..."
     ],
     "url": "https://example.com/page"
   }
   

如果你有其他特定需求或想法，我们可以进一步扩展脚本功能。

以下是一个实现上述需求的Shell脚本：

#!/bin/bash

# Shell脚本用于压缩指定目录并上传到指定的远程服务器

# 检查输入参数是否完整
if [ "$#" -ne 2 ]; then
    echo "Usage: $0 <local_directory_path> <remote_server_path>"
    exit 1
fi

LOCAL_DIRECTORY=$1
REMOTE_SERVER_PATH=$2
TIMESTAMP=$(date +"%Y%m%d_%H%M%S")
ZIP_FILE="backup_$TIMESTAMP.zip"
LOG_FILE="log.txt"

# 检查本地目录是否存在
if [ ! -d "$LOCAL_DIRECTORY" ]; then
    echo "Error: Directory '$LOCAL_DIRECTORY' does not exist." | tee -a $LOG_FILE
    exit 1
fi

# 压缩指定目录到ZIP文件
echo "Compressing directory $LOCAL_DIRECTORY to $ZIP_FILE..." | tee -a $LOG_FILE
zip -r $ZIP_FILE $LOCAL_DIRECTORY > /dev/null 2>> $LOG_FILE

if [ $? -ne 0 ]; then
    echo "Error: Failed to compress $LOCAL_DIRECTORY. Check $LOG_FILE for details." | tee -a $LOG_FILE
    exit 1
fi

echo "Compression completed successfully." | tee -a $LOG_FILE

# 上传压缩文件到远程服务器
echo "Uploading $ZIP_FILE to $REMOTE_SERVER_PATH..." | tee -a $LOG_FILE
scp $ZIP_FILE $REMOTE_SERVER_PATH 2>> $LOG_FILE

if [ $? -ne 0 ]; then
    echo "Error: Failed to upload $ZIP_FILE to $REMOTE_SERVER_PATH. Check $LOG_FILE for details." | tee -a $LOG_FILE
    exit 1
fi

echo "Upload completed successfully." | tee -a $LOG_FILE

# 清理本地生成的ZIP文件
echo "Cleaning up local files..." | tee -a $LOG_FILE
rm -f $ZIP_FILE

if [ $? -ne 0 ]; then
    echo "Warning: Failed to delete local file $ZIP_FILE. Please remove it manually." | tee -a $LOG_FILE
else
    echo "Cleanup completed successfully." | tee -a $LOG_FILE
fi

echo "Script execution finished. Check $LOG_FILE for the summary." | tee -a $LOG_FILE
exit 0

脚本说明：

1. 参数校验：

   • 检查脚本是否接收了两个参数：本地目录路径 local_directory_path 和远程服务器路径 remote_server_path。

2. 日志记录：

   • 使用 tee 记录日志到 log.txt，该日志包含压缩与上传过程的详细记录，便于排查问题。

3. 目录验证：

   • 如果输入的本地目录不存在，则直接退出脚本并在日志中记录错误。

4. 压缩：

   • 使用 zip -r 命令递归压缩指定目录内容为 .zip 文件，确保支持大于 1GB 的文件夹。

5. 上传：

   • 使用 scp 命令将生成的 .zip 文件上传到远程服务器指定路径。

6. 本地清理：

   • 成功上传后，删除本地生成的 .zip 文件以节省空间。

7. 日志文件：

   • 日志文件 log.txt 始终记录脚本运行状态、错误及其他信息。

依赖：

• 需要本地安装 zip 和 scp 工具。
• 远程服务器需要支持 SCP 协议，并设置了必要的权限和连接。

调用方法：

./backup_and_upload.sh /home/user/data scp://10.0.0.1:/backups/

如果需要实现更加高级功能，如更加细粒度的进度显示或支持其他协议，可进一步扩展脚本逻辑。