Verne in GitHub

Celery 又一坑:时区错误

Celery 使用过程中又遇一坑,最近升级项目中使用的 Celery 到 4.1.1,突然发现一些定时任务突然不执行了。开始还以为代码哪里做了变化,尝试找了很久,然后打开 scheduler 的日志观察了一段时间。 Celery config 中的配置是如下所示,理论上,早间的任务应该在 8 点到 12 点 每隔 5 分钟执行一次,然后午间和晚间的以此类推。 app.conf.timezone = 'Asia/Shanghai' app.conf.beat_schedule = { 'morning': { 'task': Read more ...

2018-06-13 celery , python , linux , message , queue , bug

使用 lombok 简化 Java 代码

lombok 在编译器编译时通过操作 AST(抽象语法树)改变字节码生成。也就是说他可以改变 Java 语法。lombok 不像 Spring 的依赖注入是运行时的特性,而是编译时的特性。使用 lombok 需要对应 IDE 插件配合,具体可参考官网。 安装配置 官网地址:https://projectlombok.org/ 添加 maven <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok< Read more ...

2018-06-11 lombok , java , annotation

通过 HOST 去除 Android 广告:adaway

Adaway 通过修改 Host 来去除手机上的广告。支持自定义 HOST 源,这就意味着稳定可用的屏蔽规则依赖于可靠及时更新的 Host 规则了。为了避免误伤,我尽量会不全部启用,只会启用一些特别恼人的广告。 内置 Host 地址 Adaway 官方 https://adaway.org/hosts.txt hpHosts - Ad and Tracking servers only http://hosts-file.net/ad_servers.txt Yoyos Hosts https://pgl.yoyo.org/adserv Read more ...

2018-06-05 adaway , android , host

Kafka 副本备份机制

leader 维护了 ISR(能完全赶得上 leader 的副本集), 每个 Partition 当前的 leader 和 ISR 信息会记录在 ZooKeeper 中。leader 会跟踪与其保持同步的 Replica 列表,该列表称为 ISR。如果一个 follower 宕机,或者落后太多,leader 将把它从 ISR 中移除。只有 leader 才能知道哪些 Replica 能够及时完全赶得上。所有 follower 都会和 leader 通信获取最新的消息。但是 follower 之间并不互相知道彼此的信息。所以由 leader 来管理 ISR Read more ...

2018-06-04 kafka , message , broker , replication

FileRun 又一款文件同步工具

这两天浏览开源项目 的时候又 1 发现了一款文件同步工具 FileRun,打开官网 一看发现设计非常简洁,功能也同样强大。 最吸引我的是和 Google Docs ,Office Web View ,Pixlr 等等的支持,这样就可以在线预览 docx 等等文件。虽然是闭源产品,但是如果类似官网显示的那样,也是非常不错的文件同步管理的选择。 FileRun 是用 PHP 开发,从部署的文档可以看出来,部署的过程也可以使用 Docker,所以可以非常方便的部署到 Docker 环境中。如果自己配置环境,和 NextCloud 一样有 PHP 的运行环境 Read more ...


Kafka 资料收集整理

学 Kafka 的时候找到了一些非常友好的资料,这里整理下。 教程 不得不说的官方教程,另外我正在翻译官方教程 https://kafka.apache.org/intro cloudurable 这个网站提供了非常详细的 Kafka 教程,从入门 Kafka 是什么,到写 Java 代码,到 Kafka 项目各个部分架构 都有着非常详细的介绍。 http://cloudurable.com/kafka-training/index.html 第三个要推荐的就是一本 Gitbook ,尤其是第二章使用 Unix 管道类比来解释 Read more ...

2018-05-31 kafka , message

静态博客评论系统选择对比

今天浏览网页的时候发现了一个新的评论系统 —- livere,打开官网发现支持登录方式挺多,界面也挺友好。然后想起来之前多说关闭等等事情,觉得有必要整理整理,所以有了这样一篇文章。 来必力 第一个想要吐槽的就是这个中文名,其实看官网大致就能够猜到这是一家韩国的公司,不过就其官网来说,非常的本地化,包括官网,文档都中文化做的非常到位,只是这个中文名我是无论如何都无法接受呢。 https://livere.com Disqus 一直是我使用的评论系统,自从有了博客起基本就是用的 Disqus,从来没有遇到任何问题,有人说被墙了,这可能算不上个问 Read more ...

2018-05-30 blog , comment , disqus

Kafka 基础知识笔记

Kakfa 起初是由 LinkedIn 公司开发的一个分布式的消息系统,后成为 Apache 的一部分,它使用 Scala 编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Apache Storm、Spark 等都支持与 Kafka 集成。 体系架构 生产者使用 push 向 broker 发送消息,消费者使用 pull 模式拉取并消费消息 producer 可能是服务器日志,业务数据 broker 消息中间件节点,支持水平扩展,一般 broker 数量越多,集群吞吐率越高 consume Read more ...

2018-05-29 Kafka , linkedin , message , broker

SSH 端口转发

SSH 全称 Secure Shell,是一种加密的网络传输协议,可以在不安全的网络中为网络服务提供安全的传输环境。 几个 ssh 命令的参数 C 压缩数据传输 -f 后台登录用户名密码,如果省去该参数 ssh 会一直等待 -g 允许打开的端口让远程主机访问 -N 不执行shell -T 表示不为该连接分配TTY -p 后接端口 本地端口转发 本地端口转发,就是将发送到本地端口的请求,转发到目标主机端口。 ssh -L 本地网络地址:本地端口:目标主机地址:目标端口 root@<主机地址> ssh -L l Read more ...

2018-05-28 ssh , port , forward , linux

每天学习一个命令:netcat 查看网络信息

nc 是 netcat 的简称,nc 工具是一个 TCP/IP 的瑞士军刀类型的工具,netcat 可以使用 TCP 或者 UDP 协议来进行网络连接的读写诊断,nc 命令可以用于 TCP,UDP,Unix 套接字相关的任何事情,是一个非常强大的网络工具。 端口是 Linux 机器上的应用、服务、进程与网络进行通信的端点。常用的 netstat 或者 nmap 等也能够列出本地机器上的开放端口。但是 nc 可以用来确定远程主机端口是否开放。 安装 sudo apt install netcat 使用实例 监听本地端口 nc -l -p 80 Read more ...

2018-05-28 netcat , nc , linux , tcp , udp , command , netcat , port-scan , security

最近文章

  • 入手 GL.iNet Comet Pro(RM10):支持 Wi-Fi 6 的远程 IP KVM 家里的 [[Homelab]] 一直是一台 4 盘位的小主机跑 [[Proxmox VE]],上面跑着 Ubuntu 虚拟机、一堆 Docker 服务和下载机。平时远程管理全靠 SSH 加 [[Tailscale]],只要系统还活着基本没什么问题。真正让我不放心的是系统起不来的时候:升级内核后卡在启动界面、改网卡配置时手滑导致网络没起来、BIOS 被重置后不再从正确的硬盘启动,这时候 SSH 连不上,Tailscale 也不会在线,人不在家就只能干等。最近正好赶上一波促销,我入手了 [[GL.iNet]] 的 Comet Pro(型号 GL-RM10)远程 [[IP KVM]],叠加各种限时优惠之后实际支付 590.76 元,算是把 Homelab 远程管理的最后一块短板补上了。
  • 呆呆面板 MCP 配置教程:让 Claude、Cursor 用自然语言管理定时任务 前两天写了一篇 呆呆面板 daidai-panel:轻量级青龙面板替代品介绍与 Docker 部署教程,在那篇文章里我提到呆呆面板和 [[qinglong 青龙面板]] 最明显的代差是内置了 [[MCP]] 服务,但只是简单带过。面板搭起来、脚本陆续迁移进来之后,我每天早上要做的第一件事就变成了打开面板,挨个看昨晚哪些任务失败了、报的什么错、是 Cookie 过期还是网站改版。这种重复又琐碎的巡检,恰好是 AI 最擅长替人做的事情。所以这一篇就专门聊聊呆呆面板的 MCP 怎么配置、怎么接入不同的客户端,以及在权限上应该怎么取舍。
  • 呆呆面板 daidai-panel:轻量级青龙面板替代品介绍与 Docker 部署教程 Homelab 里跑久了,总会攒下一堆零散的小脚本:每天早上抓一次汇率发到 Telegram,定时检查几个网站的证书有没有快过期,隔一段时间把某个 API 的数据拉下来存一份,再加上各种网站的自动签到。最开始我都是直接写进服务器的 crontab,时间一长就发现问题很多,脚本散落在不同的机器上,日志不知道去哪看,失败了也没人通知,Python 依赖装在系统里还经常和别的东西打架。几年前我为此折腾过 [[qinglong 青龙面板]],最近在 GitHub 上又看到一个定位几乎一样、但更轻量的新项目,叫呆呆面板([[daidai-panel]])。
  • RAGFlow:以深度文档理解为核心的开源 RAG 引擎介绍与部署使用教程 这两年我陆陆续续接触过一些 RAG 小工具,从最早自己用 [[LangChain]] 拼一个 demo,到后来用 [[AnythingLLM]]、[[Dify]] 的知识库功能,有一个体验几乎每次都会重演:拿几篇 Markdown 测试的时候效果惊艳,一旦换成真实的业务材料,比如一份带合并单元格的财报 PDF、一份双栏排版的论文、几页扫描的合同,回答马上就开始胡说八道。追查下去会发现问题根本不在大模型,而在最前面的解析和切块环节,表格被拍平成一串没有表头的数字,左右两栏的文字被交错拼接在一起,模型拿到的上下文本身就是错的。也正是因为这个痛点,我在调查 ESP32 小智 AI 后端的时候发现了 [[RAGFlow]],一个可以「深度文档理解」的开源 RAG 引擎。
  • Git 本地忽略文件:.git/info/exclude 的作用与使用技巧 由于本地 IDE、插件、Agent 的差异,所以经常打开项目之后会出现一些只属于我自己的文件,AI Agent 和一些 MCP,Skill 也喜欢在项目根目录里面添加文件。每次 git status 都能看到这一串红色的 untracked 文件,看着很烦,又不太好意思为了自己的习惯去改项目的 .gitignore。这时候我想起了 .git 目录里一个存在感极低的文件 info/exclude,它刚好就是为这种场景设计的。