发表于

前言

为了追求网站访问的稳定性 准备将wordpress博客迁移到hexo上 考虑到数据量比较多 我直接将数据库导出成压缩包 然后下载到本地电脑 然后使用python批量将里面的文章转成markdown格式的文档

准备工作

  1. 导出数据库

    1
    mysqldump -u用户名 -p密码 数据库名 | gzip > 数据库名.sql.gz

  2. 将导出的数据库文件下载到本地 然后双击解压该数据库

    1
    scp -r root@服务器IP:刚导出的数据库所在路径 本地目录

  3. 数据库导入进本地mysql中 方便python连接

    首先创建新数据库:

    1
    mysql>create database 数据库名;

    然后将sql文件导入到该库中:

    1
    mysql -u用户名 -p密码 数据库名 < 数据库名.sql

Python批量转换

python代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
# coding:utf-8

##########################
#  
#  链接本地mysql数据库将wordpress中的文章提取出来并转成hexo博客格式
#
##########################

import os
import sys
from markdownify import markdownify as md
import pymysql.cursors
import sys
sys.setrecursionlimit(1000000)


# 连接数据库
conn = pymysql.Connect(
    host='127.0.0.1',
    port=3306,
    user='数据库用户名',
    passwd='数据库密码',
    db='wordpress_it',
    charset='utf8mb4'
)
# 获取游标
cursor = conn.cursor()


# 获取所有文章
cursor.execute("SELECT post_title, post_content, post_date FROM wp_posts WHERE post_type='post'")
posts = cursor.fetchall()

# 确保输出目录存在
output_dir = 'hexo_posts'
if not os.path.exists(output_dir):
    os.makedirs(output_dir)

tags=["Android","IOS","服务器","Docker","Mysql","Flutter","Java","Hexo"]
postTag="技术文章" #默认分类为

# 遍历每篇文章
for idx, post in enumerate(posts):
    title, content,date = post
    for tag in tags:
        if tag in title:
            postTag=tag
            break
    

    # 将HTML内容转换为Markdown
    markdown_content = md(content)
    # 写入Hexo格式的Markdown文件
    with open(os.path.join(output_dir, f"{idx+1}.md"), 'w', encoding='utf-8') as f:
        f.write("---\n")
        f.write(f"title: {title}\n") # 如果要嵌入变量 需要加f
        f.write(f"date: {date}\n")  # 请将日期替换为实际发布日期
        f.write(f"tags: {postTag}\n")
        f.write("---\n")
        f.write("\n")
        f.write(markdown_content)


# 关闭游标和连接
cursor.close()
conn.close()

想要正常运行该代码 需要安装pymysql和markdownify两个库:

1
2
pip3 install markdownify
pip3 install pymysql

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

需求

我本来想让AI给我写一个hexo插件 如下:

1
2
3
4
5
6
7
8
9
10
11
请写一个hexo插件 要求功能如下:

1. 在执行hexo -g指令时自动将文章中的非本站合法超链接提取替换出来 为每个合法的链接生成独立的跳转页面  独立页面的地址和链接形成固定的对应关系  不会因为新增文章而发生对应链接改变的问题
2. 当用户浏览博客时点击超链接会跳转到一个单独的网页 在这个网页中显示文字和该链接地址并询问用户是否需要跳转到该链接  当用户点击文字下方的跳转按钮则自动跳转到该链接  
3. 文章中的链接应该替换成对应已经生成的跳转页面的链接 
4. 要求能在`config`文件中自定义需要进行排除的域名 不对排除的域名下的所有链接进行跳转页面的生成 保留原始的直接跳转即可 
5. 在`config`文件中增加插件的开启开关 
6. 需要过滤掉非合法的超链接 非合法的链接不做处理
7. 跳转页面的UI希望能美观一些 内容居中显示 

请给出插件的完整代码

然后AI给我的答案是:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
以下是一个满足您需求的Hexo插件的完整代码：

const fs = require('fs');
const path = require('path');
const { promisify } = require('util');
const { URL } = require('url');

const readFile = promisify(fs.readFile);
const writeFile = promisify(fs.writeFile);

const config = hexo.config.external_link_redirect || {};
const excludedDomains = config.excluded_domains || [];
const redirectPageDir = path.join(hexo.public_dir, 'redirect_pages');
const redirectPageTemplate = `
<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <title>Redirect Page</title>
  <style>
    body {
      font-family: Arial, sans-serif;
      text-align: center;
    }
    .container {
      margin-top: 100px;
    }
    .link {
      font-size: 18px;
      font-weight: bold;
    }
    .button {
      padding: 10px 20px;
      background-color: #007bff;
      color: #fff;
      border: none;
      border-radius: 5px;
      cursor: pointer;
      text-decoration: none;
    }
  </style>
</head>
<body>
  <div class="container">
    <p class="link">%LINK%</p>
    <button class="button" onclick="redirectToLink()">Go to Link</button>
  </div>
  <script>
    function redirectToLink() {
      window.location.href = '%URL%';
    }
  </script>
</body>
</html>
`;

hexo.extend.filter.register('before_generate', async function () {
  if (!config.enable) {
    console.log('External link redirect plugin is disabled.');
    return;
  }

  await createRedirectPages();
});

async function createRedirectPages() {
  const posts = hexo.locals.get('posts');
  if (!posts || !posts.length) {
    return;
  }

  for (const post of posts.data) {
    const content = post.content;
    const updatedContent = await processContent(content);
    post.content = updatedContent;
  }
}

async function processContent(content) {
  const updatedContent = content.replace(/<a href="([^"]+)"[^>]*>(.*?)<\/a>/gi, async (match, url, text) => {
    if (!isLinkValid(url)) {
      return match; // Skip invalid links
    }

    const redirectPagePath = await generateRedirectPage(url);
    const redirectLink = `<a href="${redirectPagePath}">${text}</a>`;
    return redirectLink;
  });

  return updatedContent;
}

function isLinkValid(url) {
  if (!url || typeof url !== 'string') {
    return false;
  }

  const parsedUrl = new URL(url);
  const domain = parsedUrl.hostname.replace('www.', '');
  return !excludedDomains.includes(domain);
}

async function generateRedirectPage(url) {
  const redirectUrl = new URL(url);
  const domain = redirectUrl.hostname.replace('www.', '');
  const redirectPagePath = path.join(redirectPageDir, `${domain}_${Date.now()}.html`);
  const pageContent = redirectPageTemplate.replace('%LINK%', url).replace('%URL%', url);

  await writeFile(redirectPagePath, pageContent);
  return redirectPagePath.replace(hexo.public_dir, '');
}
在这个插件中，我们做了以下几件事情：

在执行hexo -g指令之前，通过before_generate过滤器来自动生成跳转页面。
通过正则表达式遍历文章内容，找到所有超链接，并检查链接是否有效。
对于有效的链接，创建一个跳转页面，并将原始链接替换为跳转页面的链接。
生成的跳转页面是一个HTML文件，包含跳转链接和一个按钮，点击按钮可以跳转到原始链接。
用户可以在Hexo配置文件中设置插件的开启状态、需要排除的域名以及跳转页面模板。
最终生成的跳转页面保存在public/redirect_pages目录下，每个页面都有固定的对应关系，不会因为新增文章而改变链接。

看了一下AI给我写的代码, 可以说是秀的我头疼, 代码可读性实在太差了, 难道是我问的方式不对?🤔

由于ChatGPT免费次数有限 我也懒得去搜寻免费的AIChat, 干脆就自己手动写一个吧

最后调试完成后的插件代码如下:

完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
'use strict';

const fs = require('fs');
const path = require('path');
const cheerio = require('cheerio');
const crypto = require('crypto');
const { log } = require('console');

const DEFAULT_EXCLUDE_DOMAINS = ['example.com']; // 默认排除的域名列表

hexo.extend.filter.register('before_generate', function () {
    const config = hexo.config.external_links || {};
    const excludeDomains = config.exclude_domains || DEFAULT_EXCLUDE_DOMAINS;
    if (!config.enable) {
        console.log('关闭external_links插件');
        return;
      }
    hexo.extend.generator.register('external_links', function (locals) {
        const posts = locals.posts;
        const author = hexo.config.author;
        const outputDir = hexo.config.external_links_output || 'external_links';
        const linkMap = new Map(); // 存储链接和其对应的哈希值的映射

        posts.forEach(post => {
            const $ = cheerio.load(post.content);
            $('a').each(function () {
                const href = filterUrl($(this).attr('href'));
                const hostname = getHostname(href);

                if (hostname!=""&&!excludeDomains.includes(hostname)) {
                    const hash = generateHash(href);
                    linkMap.set(href, hash); // 存储链接和哈希值的映射关系

                    //替换文章中的原始链接
                    const newHref = `/${outputDir}/${hash}.html`;
                    $(this).attr('href', newHref);
                    $(this).attr('target', "blank");//在新标签页中打开超链接
                }
            });

            post.content = $.html();
        });

        const outputPath = path.join(hexo.public_dir, outputDir);
        if (!fs.existsSync(outputPath)) {
            fs.mkdirSync(outputPath);
        }

        // 生成每个链接对应的页面
        linkMap.forEach((hash, href) => {
            const htmlContent = generateLinkPage(href, hash,author);
            const outputFile = path.join(outputPath, `${hash}.html`);
            fs.writeFileSync(outputFile, htmlContent);
        });

   
    });
});

function generateLinkPage(href, hash,author) {
    const html = `
        <!DOCTYPE html>
        <html lang="en">
        <head>
            <meta charset="UTF-8">
            <meta name="viewport" content="width=device-width, initial-scale=1.0">
            <title>访问外部网站-{author}</title>
            <style>
                body {
                    margin: 20px;
                    padding-top: 100px;
                    color: #222;
                    font-size: 13px;
                    font-family: 'Helvetica Neue', Helvetica, Arial, sans-serif;
                    line-height: 1.5;
                    -webkit-tap-highlight-color: rgba(0, 0, 0, 0);
                }
                .wrapper {
                    margin: auto;
                    padding-left: 30px;
                    padding-right: 30px;
                    max-width: 540px;
 									  padding-top: 25px;
                    padding-bottom: 25px;
                    background-color: #f7f7f7;
                    border: 1px solid #babbbc;
                    border-radius: 5px;
                }
             
              
        
                .button {
                    padding: 0;
                    font-family: inherit;
                    background: none;
                    border: none;
                    outline: none;
                    cursor: pointer;
                }
                .button:hover {
                    background-color: #0070cd;
                }
                a{
                    text-decoration: none
                }
        
                .button:active {
                    background-color: #0077d9;
                }
        
          
                .link {
                    margin-bottom: 10px;
                }
              
                .button {
                    display: inline-block;
                    padding: 10px 16px;
                    color: #fff;
                    font-size: 14px;
                    line-height: 1;
                    background-color: #0077d9;
                    border-radius: 3px;
                }
                .actions {
                    margin-top: 15px;
                    padding-top: 30px;
                    text-align: right;
                    border-top: 1px solid #d8d8d8;
                }
            </style>
        </head>
        <body>
        
            <div class="wrapper">
                <div class="content">
                    <h1>即将离开${author}</h1>
                    <p class="info">您即将离开${author}，前往外部网站。</p>
                    <p class="link">${href}</p>
                </div>
                <div class="actions">
                    <a class="button" href="${href}" one-link-mark="yes">继续访问</a>
                </div>
            </div>
        </body>
        </html>
    `;
    return html;
}

function getHostname(url) {
    try {
        return new URL(url).hostname;
    } catch (error) {
        return '';
    }
}
function filterUrl(url) {
    const urlRegex = /http[s]?:\/\/[\u4e00-\u9fa5\w.-\/:]+[\u4e00-\u9fa5\w.?&\/=-]+/g;
    const match = urlRegex.exec(url);
    return match ? match[0] : ''
}

function generateHash(data) {
    return crypto.createHash('md5').update(data).digest('hex');
}

使用方法:

在script目录下新建一个js文件, 注意名称不要使用index.js, 将上面代码粘贴过去, 然后在config配置文件中指定输出的目录以及需要过滤的域名 如下:

1
2
3
4
5
6
7
8
9
10
#需要排除的域名 以及是否开启该插件
external_links:
  exclude_domains:
    - 'acg.newban.cn'
    - 'newban.cn'
    - 'code.newban.cn'
    - 'audio.newban.cn'
  enable: true
#输出目录
external_links_output: external_links

效果展示

模仿的知乎效果:

image-20240416141911249

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

前言

数据库操作指令涵盖了创建、查询、修改和删除数据库及表的过程，以及如何在这些数据库和表中进行数据操作。以下是一些常用的数据库操作指令：

指令

创建数据库

1
create database 数据库名;

删除数据库

1
drop database 数据库名;

创建表

1
create table 表名 (列名 数据类型);

删除表

1
drop table 表名;

显示所有数据库

1
show databases;

进入数据库

1
use 数据库名;

显示所有表

1
show tables;

插入数据

1
insert into 表名 values(值1,值2,...);

修改数据

1
update 表名 set 字段=新值 where 条件;

删除数据

1
delete from 表名 where 条件;

修改表名

1
alter table 旧表名 rename to 新表名;

查看表所有的字段

1
describe 表名

或者

1
show columns from 表名

添加字段

1
alter table 表名 add 字段名 数据类型;

修改字段

1
alter table modify 字段名 新数据类型;

删除字段

1
alter table 表名 drop 字段名;

这些指令提供了对数据库和表的基本操作，包括创建、修改、删除和查询数据 根据具体需求，可以组合使用这些指令来完成更复杂的数据库管理任务

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

ffmpeg安装

在Mac平台上 本人多次使用brew工具进行ffmpeg安装都未成功

于是决定直接去ffmpeg官网下载执行包

点击进入官网

由于是国外的网站 下载速度会相对较慢 文末已经给大家准备了网盘下载链接

这里我们选择Mac :

image-20240413173518406

image-20240413173539785

image-20240413173602675

将执行压缩包解压后得到一个独立的ffmpeg执行文件:

image-20240413173929604

为了方便我们接下来的使用 需要对其进行环境变量的配置:

  1. 在终端中输入以下命令 打开环境变量配置文件：

    1
    vim ~/.bash_profile

  2. 在该文件中加入以下内容

    1
    export PATH="/path/to/ffmpeg:$PATH"

    注意: 这里需要将 /path/to/ffmpeg 替换为你的ffmpeg所在路径

  1. 使用source命令使新的环境变量生效

    1
    source ~/.bash_profile

  2. 验证是否配置成功

    在任意一个非ffmpeg所在目录执行以下命令, 如果正常打印内容 则代表配置成功:

    1
    ffmpeg -version

注意: 如果你懒得配置环境变量 还可以直接将ffmpeg执行文件移动至/usr/local/bin 此目录下的所有执行文件 全局可运行

下载m3u8视频并转换成mp4

ffmpeg支持直接访问m3u8链接并将其内容转成mp4格式, 执行命令如下:

1
ffmpeg -i {m3u8链接} -c copy -bsf:a aac_adtstoasc {文件名}.mp4

同样的该ffmpeg指令也适用于直播流的下载和转换 比如http://xxx.flv:

1
ffmpeg -i {直播链接} -c copy -bsf:a aac_adtstoasc {文件名}.mp4

ffmpeg国内下载

网盘下载 (访问密码: 312306)

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

前言

关于ffmpeg的下载, 可查阅上一篇文章《Mac平台如何下载ffmpeg并对m3u8视频进行下载转换成MP4》

本文将给大家介绍如何使用ffmpeg将本地的flv视频压制转换成小体积的MP4

格式转换

如果只是单纯的进行格式转换 可以直接使用以下指令来实现:

1
ffmpeg -i input.flv -vcodec copy -acodec copy output.mp4

这种方式通常体积不会有太大的改变

转换格式并压缩视频体积

如果需要将视频进行压缩 以减少空间的占用 可以参考以下指令:

1
ffmpeg -i input.flv -c:v libx264 -crf 26 -c:a aac -strict experimental -b:a 128k output.mp4

解释各选项含义：

  • -i input.flv：指定输入文件名为input.flv。
  • -c:v libx264：使用H.264编码来压缩视频。
  • -crf 28：设置CRF（常量速率因子）的值为23。低值表示更好的质量，但文件会更大；高值会降低质量。范围是从0（无损）到51（最糟），通常使用18到28, 27通常是用于MP4格式的视频质量很好的平衡
  • -c:a aac：使用AAC编码来压缩音频。
  • -strict experimental：允许使用实验性的编码器。
  • -b:a 128k：设置音频比特率为128k。根据需求可以调整大小。

我们需要找到一个合适的参数平衡点 确保视频画面的质量的同时尽可能地压缩视频体积

如果我们想要快速压制 减少等待时间 还可以指定编码器预设 如下:

1
ffmpeg -i input.flv -c:v libx264 -preset veryfast -crf 24 -c:a aac -b:a 128k output.mp4

解释选项含义：

  • -preset veryfast：指定编码器预设，veryfast提供快速但质量较低的编码, 除此之外 还有fast、HQ、 SuperHQ等预设。

ffmpeg 截取视频

要使用FFmpeg截取视频 可以使用以下指令：

1
ffmpeg -i input.mp4 -ss 00:00:10 -t 00:00:30 -c copy output.mp4

解释各选项含义：

  • -i input.mp4 指定输入视频文件。
  • -ss 00:00:10 表示从视频的指定时间点开始截取，这里是从10秒处开始。
  • -t 00:00:30 表示截取的时长，这里是30秒。
  • -c copy 表示复制编码器，即不重新编码，直接复制视频流和音频流。
  • output.mp4 是输出文件的名称。

请根据实际需求调整时间参数。如果需要不同的起始时间或时长，只需修改-ss和-t参数即可。如果需要对视频进行重编码，可以去掉-c copy参数或指定其他编码器选项。

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

前言

Hexo 有强大的插件系统，使您能轻松扩展功能而不用修改核心模块的源码。在 Hexo 中有两种形式的插件：

脚本（Scripts）

如果您的代码很简单，建议您编写脚本，您只需要把 JavaScript 文件放到 scripts 文件夹，在启动时就会自动加载。

插件（Packages）

如果您的代码较复杂，或是您想要发布到 NPM 上，建议您编写插件。首先，在 node_modules 文件夹中建立文件夹，文件夹名称开头必须为 hexo-，如此一来 Hexo 才会在启动时加载；否则 Hexo 将会忽略它。

文件夹内至少要包含 2 个文件：一个是主程序，另一个是 package.json，描述插件的用途和所依赖的插件。

1
2
3
.
├── index.js
└── package.json

package.json 中至少要包含 name, version, main 属性，例如：

1
2
3
4
5
package.json{
  "name": "hexo-my-plugin",
  "version": "0.0.1",
  "main": "index"
}

工具

您可以使用 Hexo 提供的官方工具插件来加速开发：

发布

当您完成插件后，可以考虑将它发布到 插件列表，让更多人能够使用您的插件。发布插件的步骤和 更新文档 非常类似。

  1. Fork hexojs/site

  2. 把库（repository）复制到电脑上，并安装所依赖的插件。

    1
    2
    3
    $ git clone https://github.com/<username>/site.git
    $ cd site
    $ npm install

  3. 在 source/_data/plugins/ 中创建一个新的 yaml 文件，使用您的插件名称作为文件名。

  4. 编辑 source/_data/plugins/<your-plugin-name>.yml 并添加您的插件。例如：

    1
    2
    3
    4
    5
    6
    description: Server module for Hexo.
    link: https://github.com/hexojs/hexo-server
    tags:
      - official
      - server
      - console

  5. 推送（push）分支。

  6. 建立一个新的合并申请（pull request）并描述改动。

本文转载自 : Hexo中文网

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

前言

最近有群晖NSA下载直播流的需求 在使用DownloadStation套件的时候遇到一些坑 在这里做个记录

关于流的下载

首先 我需要下载的流地址的格式为:http://xxxx.flv

如果我使用常规添加链接地址的方式进行下载 就容易出现处于一直读取保存状态:

image-20240412083406987

这种状态下我们无法关闭应用 只能在套件中心停用该应用才能解决 否则后台会持续地从网络拉取数据:

image-20240412084021153

问题出在于 该地址输入框更适合填入种子的下载链接而不是视频或者流本身的 虽然这样也能变相地下载视频 但是极度不推荐 很多新手在使用的时候一不注意就掉了坑 我就是其中一个😂

正确的使用方式是将视频或者流地址填入搜索框然后回车:

image-20240412085002263

image-20240412085055724

此时视频就能正常下载了

可接下来新的问题又出现了 下载过程中无法在下载目录看到当前下载的文件 只有当视频下载完成或者手动终止该下载任务后才能看到

很明显Download Station有个下载缓存目录 但是这个缓存目录我们在File Station中看不到 只能通过ssh在终端查看

由于我下载的是直播流视频 为了保证视频的完整性 我不能中断视频的下载 在这种情况下 如果要实时查看并当前下载的内容 方便随时播放 那么我需要将隐藏的缓存目录给显示到File Station中

这里 我们需要使用目录的挂载功能

缓存目录的挂载

Download Station默认的缓存目录是/volume/@download 如果我们要将其挂载到指定的目录比如homes/download_cache 那么需要先在File Station中手动创建该文件夹

注意: 这里不建议使用终端命令进行创建 因为很容易创建隐藏文件

接下来 按照以下步骤进行缓存目录的挂载

  1. 首先在电脑上打开我们的终端窗口 使用ssh连接我们的群晖NAS:

    1
    ssh 你的群晖登录用户名@群晖ip -p22

    回车输入登录密码 即可进入到我们的NAS

  2. 然后使用mount指令将隐藏的缓存目录@download挂载到download_cache 如下:

    1
    sudo mount --bind /volume/@download /volume/home/download_cache

  3. 挂载完毕后 我们会在File Station中找到该目录 并查看到当前正在下载的视频

    image-20240412094619148

    image-20240412094719618

种子缓存目录

上面我们提到 在种子链接输入框填入视频或流的下载地址 也可下载视频 但是这种方式是不推荐的

如果你不小心误操作了 或者也想体验一把 那么坑定也想知道这种方式下载的视频缓存目录在到底在哪个位置

这里 我已经给大家提前探查明白了 这个种子的缓存目录就在volume/@tmp下的btdl文件夹中

如果你想查看这里面存放的数据首先需要修改以下目录权限:

1
sudo chomd 777 volume/@tmp/btdl

然后我们进入该目录会发现一个upload开头的文件 这个文件就是视频或种子文件:

image-20240412103745114

如果是视频文件 那么我们只需要将其拷贝出来修改一下文件后缀名就行

同样的 为了方便在File Station中查看并编辑该文件 我将这个种子缓存目录挂载到home中

操作步骤和上面的大同小异:

  1. 在Flie Station中手动创建一个目录 用于种子缓存目录的映射 我这里将其命名为temp

  2. 使用mount指令将目录进行挂载

    1
    sudo mount --bind /volume/@tmp /volume/home/temp

  3. 挂载完后 我们就能在File Station中找到该目录以及对应的文件

    image-20240412103447862

    由于我个文件是个flv的视频 所以我将其后缀改为.flv

需要注意的是:

假如你的群晖NAS设有多个存储空间 你若把Download Station套件安装到了volume1中 但是下载目录却指定在了volume2下

那么 种子缓存目录需要在套件安装磁盘中也就是volume1里面找 @tmp 目录跟随的是套件

而下载缓存目录则是和下载目录同一个磁盘也就是volume2里面找 @download跟随的是下载目录

关于Download Station使用感受

总体还是比较满意的 下载的稳定性不错

大部分下载软件都不支持流的断点续传 然而Download Station却能做到这一点 值得一赞

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

软件介绍

Wireshark是一款非常强大的跨平台抓包工具 支持Mac和Windows平台

image-20240411201058820

image-20240411201029770

软件下载

点击进入官网

软件配置

这里以Mac平台结合谷歌浏览器为例进行配置

  1. 进入谷歌浏览器设置页 选择启动时打开新的标签页

    image-20240411184036016

  2. 创建keylog.txt用于存储ssl密钥 方便https抓包

    1
    2
    cd /Users/xxx
    touch keylog.txt

    注意:keylog.txt的存放位置由你自己决定 这里我存放到Users目录下

  3. 执行以下指令启动谷歌浏览器

    1
    sudo /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --ssl-key-log-file=/Users/xxx/keylog.txt

    --ssl-key-log-file : 表示将ssl密钥输出到指定文件中

    注意:

    1. 由于我将keylog.txt文件放在了用户目录下 所以指令执行必须加sudo表示以管理者的身份运行

    2. 如果你的谷歌浏览器并未安装在Applications目录下 可以利用以下指令来获取Chrome应用的路径

      1
      sudo find / -iname "Google Chrome"

      image-20240411185614773

  4. 在新打开的浏览器中输入你需要进行https抓包的网址 并回车

    这里我以百度官网https://baidu.com为例

  5. 此时我们会发现keylog.txt文件中已经有了相应的日志信息

    image-20240411185017352

  6. 启动Wireshark 选择需要监控的网卡

    image-20240411200537770

  7. 并配置TLS 关联keylog文件

    image-20240411185810657

    image-20240411185830566

    image-20240411190033618

至此 软件配置完毕 接下来开始抓包测试

抓包测试

  1. 打开百度网页 然后按F12进入Chrome开发者工具 获取百度的实际ip地址 用于过滤使用

    image-20240411190618555

  2. 在Wireshark 过滤栏中输入ip.dst==36.155.132.76 and http对该ip进行过滤

软件详细使用

利用好过滤

Wireshark的快速上手的技巧那就是使用过滤

想要在大量的数据中获取到自己想要的数据 那就必须利用好过滤关键字

我们进行网络抓包时大部分都是抓取http/https请求 因此我们只需在过滤栏中输入http关键字:

image-20240411195505450

当我们在过滤栏进行输入时Wireshark会有自动补全提示 当过滤栏背景为绿色表示软件能识别并根据该关键字进行数据过滤 如果背景色为红色 那表明无法根据该关键字进行过滤:

image-20240411195710102

过滤json数据

通常我们可能会抓取一下应用的api 返回的数据基本都是json格式 此时我们可以在过滤栏输入http and json关键字

image-20240411195944621

过滤图片

如果要过滤图片 可以使用http.content_type 比如:

1
http.content_type =="image/png"

不过为了更好地过滤出数据 我推荐大家使用contains的形式而不是== 这样容错率能大幅提升

1
http.content_type contains "image"

image-20240411224905514

过滤音视频

如果是amr格式的音频可以在过滤栏输入http and amr关键字

如果是MP4格式视频可以在过滤栏输入http and mp4关键字

如果是直播流 可以尝试输入rtp关键字

当然我们还可以通过模糊过滤的方式 比如:

1
http.content_type contains "video"

和

1
http.content_type contains "audio"

image-20240411225240083

根据ip地址过滤

这里需要注意的是 一个完整的数据交互是包括请求和响应两部分的

如果我们需要抓请求的部分 那么使用dst关键字:

1
ip.dst==服务器ip地址

如果我们需要抓响应的的部分 那么使用src关键字 也就是来源于对方 向我们发送数据:

1
ip.src==服务器ip地址

如果请求和响应两个部分都想抓取 那就用addr关键字:

1
ip.addr==服务器ip地址

也就是说无论是Suorce还是Destination只要包含该ip的都会过滤出来

根据请求方法过滤

如果我们要指定过滤GET或者POST方法 那么可以使用以下关键字:

1
http.request.method==GET

根据请求路径进行过滤

有时候同一个应用会使用不同的ip地址 尤其是某些直播应用 虽然每个视频ip可能会不同 但是地址路径是一样的 比如以live/xxx.flv结尾 那么我们就可以根据这个进行匹配过滤 如下:

1
http.request.uri contains "live"

根据排除法进行过滤

如果我们要排除某个ip的数据, 我们可以在关键字前面加上not或者! 如下:

1
!(ip.addr == 192.168.0.1)

根据内容长度进行过滤

如果我们要根据请求的内容进行过滤可以使用http.content_length 关键字 如下:

1
http.content_length <=30

根据正则进行匹配过滤

如果我们要使用正则匹配 可以使用matches关键字 如下:

1
http.request.uri matches "user"

注意: matches匹配不区分大小写

根据域名进行过滤

如果需要根据域名进行过滤 可以使用http.host关键字 如下:

1
http.host==baidu.com

或者

1
http.host contains "baidu"

如果要按照源地址和目标地址过滤 可以使用src www.baidu.com和dst www.baidu.com

根据cookie进行过滤

使用http.cookie关键字 如下:

1
http.cookie contains "userid"

根据端口号过滤

使用http.port关键字 如下:

1
http.port==80

根据http响应状态码过滤

可以使用http.response.code关键字 如下:

1
http.response.code==200

结合使用

以上所有的关键字 都可以使用与或非运算符进行结合使用 比如我想过滤一个http请求且请求响应为403的数据 过滤方式如下:

1
http and (http.response.code==403)

关于清除界面数据

当我们感觉数据过多 需要清理界面数据时 需要停止抓包 然后再点击开始抓包 这个时候软件会给予提示 是否需要将数据包进行保存到本地 我们只需要点不保存即可:

image-20240411200226017

或者直接点击重新抓包一步到位:

image-20240411212025725

Wireshark 的优势

  • 能抓取物理层到应用层七大层数据 这是其他诸如Charles、Fiddler抓包软件所不具备的

  • 监控网卡 所有数据无所遁形

  • 有些App禁止代理状态下使用 或者内部走的非代理流量 那么这种问题Wireshark可以轻松解决

总之 Wireshark和其它抓包软件结合使用 基本上能解决我们的抓包需求

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

软件介绍

Proxyman是一款跨平台的HTTP/HTTPS网络抓包工具 目前支持Windows、Linux、MacOS、IOS四大平台

image-20240411171337537

软件主界面如下:

image-20240411175955421

软件下载

点击进入官网

Android抓包

这里以网易的MUMU模拟器为例 给大介绍如果使用Proxyman抓取手机上的HTTP/HTTPS请求

第一步 打开proxyman获取代理服务地址和端口号

点击菜单栏Certificate-->Install Certificate on Android-->Physical Devices

image-20240411172928040

image-20240411173138799

第二步 在模拟器上配置网络代理

进入设置-->WLAN长按网络名称弹出对话框 这里我们点击修改网络:

image-20240411173440435

然后将服务地址和端口号填入并点击保存:

image-20240411173512415

第三步 下载SSL证书

证书用于抓取HTTPS请求

打开模拟器中的浏览器 输入地址http://proxy.man/ssl下载证书并安装

image-20240411174336396

第四步 测试能否正常抓包

在手机浏览器上输入一个返回json串测试地址进行配置验证 测试地址如下:

1
http://music.163.com/api/search/get/web?csrf_token=hlpretag=&hlposttag=&s=阳光正好-十二越&type=1&offset=0&total=true&limit=1

image-20240411174633446

如果我们能在proxman中能找到对应的测试地址和请求响应 则表示配置成功:

image-20240411174809359

不管是http还是https请求都能正常拦截:

image-20240411175000111

配置完毕!

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

发表于

网易云音乐

歌曲搜索

格式

请求方式 : POST

请求地址 : 

1
https://music.163.com/api/search/get/web?csrf_token=hlpretag=&hlposttag=&s=歌名&type=1&offset=0&total=true&limit=1

示例

1
https://music.163.com/api/search/get/web?csrf_token=hlpretag=&hlposttag=&s=阳光正好-十二越&type=1&offset=0&total=true&limit=1

效果

请求结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
{
	"result": {
		"songs": [
			{
				"id": 1335942808,
				"name": "阳光正好",
				"artists": [
					{
						"id": 31021271,
						"name": "十二越",
						"picUrl": null,
						"alias": [],
						"albumSize": 0,
						"picId": 0,
						"fansGroup": null,
						"img1v1Url": "https://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
						"img1v1": 0,
						"trans": null
					}
				],
				"album": {
					"id": 74994476,
					"name": "阳光正好",
					"artist": {
						"id": 0,
						"name": "",
						"picUrl": null,
						"alias": [],
						"albumSize": 0,
						"picId": 0,
						"fansGroup": null,
						"img1v1Url": "https://p1.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
						"img1v1": 0,
						"trans": null
					},
					"publishTime": 1545753600000,
					"size": 1,
					"copyrightId": 558010,
					"status": 0,
					"picId": 109951163752920822,
					"mark": 0
				},
				"duration": 304111,
				"copyrightId": 558010,
				"status": 0,
				"alias": [],
				"rtype": 0,
				"ftype": 0,
				"mvid": 0,
				"fee": 8,
				"rUrl": null,
				"mark": 8192
			}
		],
		"songCount": 1
	},
	"code": 200
}

获取歌曲播放直链地址

格式

请求方式 :GET

请求地址 : 

1
https://music.163.com/song/media/outer/url?id=歌曲ID.mp3

示例

歌曲ID我们可以通过浏览器地址获取 比如 http://music.163.com/#/m/song?id=1901359372

那么该首歌的直链地址为:

1
https://music.163.com/song/media/outer/url?id=1901359372.mp3

我们可以将该地址其嵌入到 HTML中 使用audio标签:

1
<audio controls="controls" title="歌名" src="直链地址"></audio>

效果

注意: 这种方式只能获取到免费歌曲的直链 如果是VIP收费歌曲 则获取不到

获取歌曲歌词

格式

请求方式 : GET

请求地址:

1
http://music.163.com/api/song/lyric?os=pc&id=歌曲ID&lv=-1&kv=-1&tv=-1

请求参数含义:

  • &tv=-1 : 表示获取歌词译文
  • &lv=-1 : 表示获取歌词原文
  • &kv=-1 : 表示获取歌词状态信息

示例

1
http://music.163.com/api/song/lyric?os=pc&id=1901359372&lv=-1&kv=-1&tv=-1

效果

请求结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
	"sgc": false,
	"sfy": false,
	"qfy": false,
	"lrc": {
		"version": 3,
		"lyric": "[00:00.00] 作词 : 十二越\n[00:01.00] 作曲 : 十二越\n[00:02.00] 编曲 : 十二越\n[00:16.28]\n[00:31.53] 你在哪里\n[00:37.87] 回忆闪烁不停\n[00:45.05] 我在这里\n[00:50.81] 一直等你\n[00:53.24] 在原地\n[00:57.71]\n[00:58.54] 时间一点一点过去\n[01:03.65] 真假不明\n[01:07.00] 沉醉在我们记忆\n[01:11.04]\n[01:12.05] 世界开始变得忧郁\n[01:17.14] 昏暗不明\n[01:20.49] 只为了你\n[01:25.39]\n[01:25.62] 你说 你说你还爱我\n[01:30.63] 是唯一的承诺\n[01:33.92] 却只剩承诺 没有了结果\n[01:36.43]\n[01:38.86] 你说 你说你会等我\n[01:44.12] 是绝对的承诺\n[01:47.55] 却没了联络 只剩下沉默\n[01:49.28]\n[01:50.62]\n[01:52.65] 你在哪里\n[01:59.01] 回忆闪烁不停\n[02:06.15] 我在这里\n[02:11.62] 一直等你\n[02:14.56] 在原地\n[02:18.24]\n[02:19.68] 时间一点一点过去\n[02:24.75] 真假不明\n[02:28.15] 沉醉在我们记忆\n[02:29.63]\n[02:33.14] 世界开始变得忧郁\n[02:38.23] 昏暗不明\n[02:41.61] 只为了你\n[02:43.30]\n[02:46.70] 你说 你说你还爱我\n[02:51.73] 是唯一的承诺\n[02:55.12] 却只剩承诺 没有了结果\n[02:59.38]\n[03:00.18] 你说 你说你会等我\n[03:05.32] 是绝对的承诺\n[03:08.69] 却没了联络 只剩下沉默\n[03:10.41]\n[03:13.82] 你说 你说你还爱我\n[03:19.69] 最后的承诺变成了软弱\n[03:25.19] 你说 你说 你说....\n[03:28.86]\n[03:40.89] 你说 你说你还爱我\n[03:45.89] 是唯一的承诺\n[03:49.26] 却只剩承诺 没有了结果\n[03:51.51]\n[03:54.36] 你说 你说你还爱我\n[04:00.33] 最后的承诺变成了软弱\n[04:10.02] 你说\n[04:12.56]\n[04:29.25] 混音 : 十二越\n"
	},
	"klyric": {
		"version": 0,
		"lyric": ""
	},
	"tlyric": {
		"version": 0,
		"lyric": ""
	},
	"code": 200
}

获取歌曲的详细信息

格式

请求方法: GET

请求地址 :

1
http://music.163.com/api/song/detail/?id=歌曲id&ids=[歌曲id]

示例

1
http://music.163.com/api/song/detail/?id=1901359372&ids=[1901359372]

效果

请求结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
{
	"songs": [
		{
			"name": "你说你还爱我",
			"id": 1901359372,
			"position": 0,
			"alias": [],
			"status": 0,
			"fee": 8,
			"copyrightId": 2708773,
			"disc": "01",
			"no": 4,
			"artists": [
				{
					"name": "十二越",
					"id": 31021271,
					"picId": 0,
					"img1v1Id": 0,
					"briefDesc": "",
					"picUrl": "http://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
					"img1v1Url": "http://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
					"albumSize": 0,
					"alias": [],
					"trans": "",
					"musicSize": 0,
					"topicPerson": 0
				}
			],
			"album": {
				"name": "茶余饭后",
				"id": 137142351,
				"type": "EP",
				"size": 5,
				"picId": 109951166702919266,
				"blurPicUrl": "http://p2.music.126.net/3474m94J-3GI3LIfdRTBmA==/109951166702919266.jpg",
				"companyId": 0,
				"pic": 109951166702919266,
				"picUrl": "http://p2.music.126.net/3474m94J-3GI3LIfdRTBmA==/109951166702919266.jpg",
				"publishTime": 1638892800000,
				"description": "",
				"tags": "",
				"company": "HIFIVE智能经纪人",
				"briefDesc": "",
				"artist": {
					"name": "",
					"id": 0,
					"picId": 0,
					"img1v1Id": 0,
					"briefDesc": "",
					"picUrl": "http://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
					"img1v1Url": "http://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
					"albumSize": 0,
					"alias": [],
					"trans": "",
					"musicSize": 0,
					"topicPerson": 0
				},
				"songs": [],
				"alias": [],
				"status": 0,
				"copyrightId": 2708773,
				"commentThreadId": "R_AL_3_137142351",
				"artists": [
					{
						"name": "十二越",
						"id": 31021271,
						"picId": 0,
						"img1v1Id": 0,
						"briefDesc": "",
						"picUrl": "http://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
						"img1v1Url": "http://p2.music.126.net/6y-UleORITEDbvrOLV0Q8A==/5639395138885805.jpg",
						"albumSize": 0,
						"alias": [],
						"trans": "",
						"musicSize": 0,
						"topicPerson": 0
					}
				],
				"subType": "录音室版",
				"transName": null,
				"onSale": false,
				"mark": 0,
				"gapless": 0,
				"dolbyMark": 0,
				"picId_str": "109951166702919266"
			},
			"starred": false,
			"popularity": 5,
			"score": 5,
			"starredNum": 0,
			"duration": 269258,
			"playedNum": 0,
			"dayPlays": 0,
			"hearTime": 0,
			"sqMusic": {
				"name": null,
				"id": 6988110024,
				"size": 28403471,
				"extension": "flac",
				"sr": 44100,
				"dfsId": 0,
				"bitrate": 843901,
				"playTime": 269258,
				"volumeDelta": -37808
			},
			"hrMusic": null,
			"ringtone": "",
			"crbt": null,
			"audition": null,
			"copyFrom": "",
			"commentThreadId": "R_SO_4_1901359372",
			"rtUrl": null,
			"ftype": 0,
			"rtUrls": [],
			"copyright": 0,
			"transName": null,
			"sign": null,
			"mark": 0,
			"originCoverType": 0,
			"originSongSimpleData": null,
			"single": 0,
			"noCopyrightRcmd": null,
			"hMusic": {
				"name": null,
				"id": 6988110025,
				"size": 10772942,
				"extension": "mp3",
				"sr": 44100,
				"dfsId": 0,
				"bitrate": 320000,
				"playTime": 269258,
				"volumeDelta": -37825
			},
			"mMusic": {
				"name": null,
				"id": 6988110027,
				"size": 6463782,
				"extension": "mp3",
				"sr": 44100,
				"dfsId": 0,
				"bitrate": 192000,
				"playTime": 269258,
				"volumeDelta": -35358
			},
			"lMusic": {
				"name": null,
				"id": 6988110029,
				"size": 4309203,
				"extension": "mp3",
				"sr": 44100,
				"dfsId": 0,
				"bitrate": 128000,
				"playTime": 269258,
				"volumeDelta": -33920
			},
			"bMusic": {
				"name": null,
				"id": 6988110029,
				"size": 4309203,
				"extension": "mp3",
				"sr": 44100,
				"dfsId": 0,
				"bitrate": 128000,
				"playTime": 269258,
				"volumeDelta": -33920
			},
			"mvid": 0,
			"mp3Url": null,
			"rtype": 0,
			"rurl": null
		}
	],
	"equalizers": {},
	"code": 200
}

QQ音乐

本文为作者原创 转载时请注明出处 谢谢

乱码三千 – 点滴积累 ,欢迎来到乱码三千技术博客站

0%