工作原理
每天早上确认自己的商品在哪里、由哪些卖家在卖的机制。为什么不能靠自己去查、每天早上会以什么形式送到手上。关于内部机制的说明,放在这之后。
「从网上取数据」听起来简单。难的不是取到,而是取到的记录能被信任。
一句话
每天早上,告诉您自己的商品现在在世界的哪里、由哪些卖家、以多少价格在卖,并附上记录。 将卖家与正规经销商名单核对,名单外的卖家作为待确认事项保留。是否为仿冒品、是否为非正规流通,由人来判断 —— 机器只负责发现和记录。
不是"有很多店在卖",而是:商城里的 A 店(在名单内)、Z 店(不在名单内)、多家店铺共用的商品页面(无法从页面确定店铺)—— 页面在这里,今早 6 点读取,价格是这些。
我们读取的是您登记的销售页面(通过 5 个国家的线路)。在日本国内的主要电商平台上,还会每天寻找未登记的新商品页面候选,并列在画面上。
核对结果显示在「正规经销商」页面;每件商品的国家、卖家、核对结果与是否在签约市场内,显示在「全球现状」页面。(控制台中的页面名称分别显示为 "Authorised sellers" 和 "Where your products stand"。)
为什么"大约"不够用
调查自己的商品是怎么被销售的,得到的往往是一种印象:"到处都有"、"有店在低价卖"。
印象并没有错。只是据此不知道该联系谁。
- 要联系名单外的卖家,需要知道是哪家店、哪个页面
- 要查明低价从哪里开始,需要知道是哪个卖家、从什么时候、以多少钱在卖
- 要掌握海外的流通,需要知道从那个国家看,是谁在卖
"到处都有",这三件事一件也没回答。
为什么不能自己去查
能查。查一次的话。
有两个障碍。
① 100 件商品 × 5 个网站,每天早上查一遍,这不是人干的活
打开 500 个页面、抄下卖家和售价、和昨天比对。一天做不完。而且不是每天做就没有意义——昨天有哪些店在卖,没记下来就永远拿不回来了。
② 站在自己的国家,只能看到自己国家的货架
这一点最难说清楚,所以慢慢讲。
同一个网址,从哪里打开,返回的内容就不一样。 排列的卖家不同,售价、货币、有货无货也不同,排序、运费、促销也都不同。
这不是什么把戏,而是再普通不过的事——给日本来的访客显示日本的店面,商店本来就是这么做的。
也就是说:坐在东京的电脑前,您永远看不到是谁在把您的商品卖给美国客户。
我们经由您指定国家的服务器打开页面,可以同时从多个国家读取同一个页面并并排呈现。
"问生成式 AI 不就行了吗"
这个问题常被问到。我们实测过,结果如下。
| 询问对话式 AI | "两个市场水平大致相当" |
| 同日同商品实测 | 美国市场比日本高 17% |
有意思的是后面。AI 给出的两个数字,都是真实且正确的值。 一个是回收价,另一个是市场指数。
它把性质完全不同的两个量并列相减,而回答中任何地方都没有说明这个区别。 仅这一点差异,就会让差价的正负号反过来。
这不是模型好坏的问题。下面五点,换个问法都填不上。
- 返回的是"行情",不是"卖家"——是正确的答案,但不是能据以行动的答案
- 只能从它所在的位置看——不存在"请从圣保罗的角度看"这样的提示词
- 不说数字从哪来——所以您无从发现错误
- 它没有"昨天"——没人保存过,事后也买不到
- 每次问,答案都不同——上周的材料和这周的材料无法比较
这是在说明 AI 是用来做什么的,而不是在批评它。 读取特定页面、从特定国家、在特定时刻,并留下记录——那是另一件工作。
每天早上收到的东西
每一行都附带以下全部内容。
| 销售方 | 页面上显示的卖家原文 |
| 价格(不含税) | ¥118,000 |
| 与上次之差 | −¥4,200 |
| 与自家比 | +8.6% |
| 读取国家 | 经由了哪个国家的服务器 |
| 页面网址 | 实际读取的页面 |
| 取得时刻 | 2026-08-22T02:20:04.756Z |
| 汇率 | 采用的汇率,以及该汇率本身的公布日 |
这些字段不可拆分。 不是选配、不是高价套餐,一定全部附带。
理由只有一个——没有出处的记录,在会议上守不住。 汇报"名单外的店铺正以 9 万日元出售",被追问"哪个页面?""什么时候的?""含税还是不含税?",答不上来,就没有人能根据这份汇报采取行动。
每一行都带有上述全部字段的送达方式有三种:画面(今早的表格)、CSV、每日早间邮件。 Webhook 是「本次扫描已结束」的信号,只带件数以及扫描批次 ID 和时刻(monitor.sweep_completed:批次 ID・来源数・已应答数・未应答数・被对方拒绝数・因我方原因未读数・看到的商品数・新增数・价格变动数・消失数・待判定数・取得时刻)。不含卖家、价格、网址和汇率。收到信号后,请在画面、CSV 或邮件中查看每一行。
最不起眼、却最要紧的地方
假设每天都去查看一个有名单外卖家出没的电商平台。某天早上平台改版了,读取失败。 返回的数据是"0 条"。
如果做得粗糙,就会这样汇报:"名单外的商品页面一夜之间全部消失了。"
在数据上,"取得失败"和"全部消失"的形状完全一样。 而且这是会让人误以为处理已经完成的记录。
我们的做法:
- 先确认该信息源今天是否正常应答。 未应答的信息源,其在架商品不纳入下架判定
- 只看不到一次,不判定为"已消失"。 要连续两次都看不到才判定。仅仅是排序变化导致看不到,是日常现象
- 拒绝就记录为拒绝。 不把"请求过于频繁"变成"内容为空的成功"
并且读取失败的信息源会被指名 ——画面上、CSV 里、邮件中都会出现。默默丢掉的话,比上周更短的清单会被读成"名单外的店铺变少了"。
以下是机制的说明
1. 从哪里看
页面会因为「谁在看」而改变样貌。
同一个商品页,从日本看是日元、有货;从美国看是美元、缺货。搜索排序不同,同意横幅也不同。
所以请求必须从那个国家的地址发出。 每个请求都可以指定国家,我们就从那里读取。
2. 怎么读 —— 从便宜的层开始
| 层 | 做什么 | 费用 |
|---|---|---|
css | 读取你提供的选择器 | 无 |
structured_data | 读取站点已经公布的 JSON-LD / OpenGraph | 无 |
llm | 把页面描述给模型 | token |
后面的层只填补前面留空的部分,而只要你不要求 llm,模型就不会被调用。 大多数商品页靠前两层就够了。
这既是成本问题,也是可复现性问题:选择器和结构化数据,对同一个页面返回同样的结果。
列表按行返回
我们不按列返回数组。一张卡片缺了价格,那一个数组就短一位,之后所有配对全部错位,而且不会报错 —— 你会得到一张由真实商品名和真实价格组成、却分属不同商品的表。下游无法检测。
按行返回时,缺失的字段是该条记录内的 null,前后各行依然对齐。
3. 一起返回什么
只有数据,在会议上守不住。每一行都带有:
seller | 页面上公布的卖家原样 |
url | 读取的页面 |
retrieved_at | 读取时刻 |
fx_rate / fx_published_on | 所用汇率,以及该汇率本身的公布日期 |
price_ex_tax_jpy | 统一为不含税的价格 |
level / attempts | 产出该值的层,以及尝试过的所有层 |
税制换算在采集时一次性完成,比较只读那一列。 含税的日本价格与不含税的香港价格,也按同一基准并列。
4. 按同等条件比较的做法
每个数字都经过以下四个做法组装而成。
- 统一税制后再比较 —— 含税价与不含税价在采集时统一,比较只读不含税的一列
- 配件与本体分开 —— 周边配件单独计数,不混入本体的价差
- 型号看到尾缀 —— 末尾一个字符的差异也视为不同商品
- 连续两次确认不在 —— 连续两次读取都看不到时,才记录为已消失的商品页面
换一个品类,做法也不变。
5. 从哪里读取 —— 5 个国家的线路
同一件商品,从哪个国家访问,价格、库存与币种都不同 —— 商城按访问来源分流。
Kansoku 从 5 个国家的真实线路读取 —— 不是 VPN,也不是翻译。
| 国家 | 状态 |
|---|---|
| 日本 | 可以读取 |
| 美国 | 可以读取 |
| 韩国 | 可以读取 |
| 台湾 | 可以读取 |
| 新加坡 | 可以读取 |
签约前可免费诊断
可以先确认您想看的销售页面能否读取。 把您关心的网址告诉我们,我们会返回可读 / 被拒 / 从哪个国家可读。看清楚再决定。
如果还想观测其他国家,请告知 sales@kansoku.ai。我们会按需求扩大可读取的国家。
6. 每天读取,有变化时通知
| 频率 | 每天 1 次(因套餐而异) |
| 送达 | 次日晨间邮件。Webhook 只向贵司系统发送「扫描已结束」的信号(件数以及批次 ID 和时刻) |
| 内容 | 变动的价格与幅度 |
| 未应答的来源 | 区分"对方拒绝"与"我方原因" |
| 每行记录 | 店铺・页面 URL・抓取时刻・所用汇率(以汇率自身日期计) |
| 页面原件 | 保存当时读取的页面,事后可核对 |
也可设定条件 —— 低于某价格、变动超过 N%、低于自家价格、 或两国差价超过 N%。最后一项只有能选择出口国家才做得到。
我们遵守的获取规矩
- 以客户端的真实身份读取
- 没有绕过验证码的机制(读取的是任何人都能打开的公开页面)
- 只读取无账号访客能看到的内容
- 遵守站点声明的速率上限
不采集所读取页面上的个人信息,是我们坚持的运营方针(见采集方针)。
除了原则,还有生意上的理由:一旦被某个来源拒绝,就再也读不回来了,而损失落在每一位需要它的客户身上。
同一机制还能用在哪里,见能做什么;与其他方式的区别,见工具选择。
最后更新 2026-10-09
最后更新