很多网友已经用各种奇怪的方法测试过Claude 3了，我就给出一个实际工作的测试吧。

大家知道，在刚刚过去的春节中，交通部都会公布当天的各种交通工具的人口流量，其网页是这样的：

这每一天的页面里面都用文字显示了当天的人流量以及和2023、2019年同期的对比。

如果我想从里面提取出每一天各种交通工具的人口流量和同比情况，再整理出一个表格，应该怎么做呢？

最传统的方法当然是打开每一个网址，然后ctrl+c和ctrl+v，一个个抄写在表格中，每一天需要复制+粘贴9次，总共需要复制粘贴三百多次。

稍微快一点的方法是手动打开每一个网址，然后把所有内容复制下来，然后想一个正则表达式，把内容提取出来。

再快一点的方法是写一个爬虫，首先把每一天的网页内容记录下来，然后再想一个正则表达式，把内容提取出来放在一张表格中。

但不难发现，春节数据总共只有30多天，这项工作就处在一个很尴尬的门槛上，不管是手动复制粘贴，还是写正则表达式，还是写了爬虫再写正则表达式，可能都要一个小时以上甚至两个小时才能完成，那么在各种大模型的帮助下，我们可以怎样完成这项工作呢？

这项工作可以分成两个部分：

1，提取网页内容

绝大部分大模型目前都不能直接联网，能联网的GPT-4其实也非常懒，你直接给他一个交通部网址让它打开并找到其中每一天的春运数据网页，肯定是不现实的，因此我仍然需要用人工稍微帮他减轻一些负担，即打开图1的列表网页，右键源代码，把这一页的网页源代码复制下来，也就是下面的内容

这样只需要打开四个网页，复制四次源代码就可以。

随后，我把四个网页的源代码一股脑儿扔给大模型，让大模型从中识别出应该打开的网址，然后根据这个网址写一段python脚本，从每一个网址中读取内容并记录到一个txt文件中。

我测试了Gemini advanced（使用Gemini Ultra模型）、Gemini 1.5 pro、Claude（使用Claude 3 opus模型）、ChatGPT（使用GPT-4模型）以及kimi（国产大模型中目前体验最好，且输入窗口最长的模型）分别进行了研究。不同的模型使用了同一个prompt：

首先阅读下列网页源代码，将其中“x月x日，全社会跨区域人员流动量完成……”为标题的所有网址都提取出来。
其次撰写一份python脚本，这个脚本运行后，需要完成下列工作：
1，将提取出的所有网址依次和“https://www.mot.gov.cn/zhuanti/2024chunyun/meirishuju/”合并，并打开合并后的网址。
2，从每个网址打开返回的内容中提取包括“来自2024年综合运输春运工作专班数据显示”文字的这一行。
3，把提取出的内容依次写入“春节每天各项人次.txt”文件中。请输出这份python代码让我在本地运行它，谢谢。
（贴进去刚才复制的网页源代码，合计一万token左右）

几个大模型表现如下：

1，GPT-4

很显然并没有完成这项工作，给出了几个网址之后就“根据实际情况添加更多网址”了，然后写了一段代码。已经把内容全都给你了，为什么不都提取出来呢？半吊子显然无法完成工作，不合格。

2，Gemini Ultra

帮我写了代码，它一个网址也没有提取出来，但用了稍微聪明一点的办法，让我把这些源代码另存在一个“webpage.html”中，他会打开这个html文件并且提取出网址。

但是，这个代码有几个错误，首先是他真的用“x月x日，全社会跨区域人员流动量完成”来当做一个完整的需要匹配的字符串（不应该有x月x日这几个字），其次合并的链接会多一个“./”，最后它并没有把这些内容存在txt文件中，经过两三次返工后，他可以给出正确代码，并且完成这项工作。

3，kimi（月之暗面）

kimi给出了网址以及python脚本，但是不难发现有几个错误：

1，它并没有给出全部网址。

2，它让我把他给出的url复制到python脚本的urls框中，但是并不能直接复制，因为没有单引号会有语法错误。

3，它已经给出了完整网址，却仍然要和基础网址“https://www.mot.gov.cn/zhuanti/2024chunyun/meirishuju/”合并一遍，自然也会出现错误。

在修改一遍后，kimi给出了更新的代码，这时我才发现了一个更严重的问题：

kimi给的网址都是乱给的，在它第一次给的代码中已经是错的了。

比如下面的urls，根本不在我给他的源代码中，它自己似乎根据网址的规律脑补了一些。

因此，kimi也不能完成这项工作。

4，Gemini 1.5 Pro

Gemini 1.5 Pro，就是Sora更新那天被完全盖过风头的模型，可以阅读百万token并且可以读视频，我自己测试下来，视频确实可以读，但智商偏低，只能重复里面说的内容，不能做有效推断。刚才的这份工作，Gemini 1.5 Pro也没能完成，它没有提取出网址，代码也是处在not even wrong的阶段，没有完成这项工作。

5，Claude 3 opus

提取了每一个网址，写了正确代码，直接复制代码到本地，一次运行，一次完成。在这一轮比拼中，大获全胜。

接下来，我们就有了“春节每天各项人次.txt”这个文件，那么怎么从这个文件中抽取出数据呢？

当然不用写正则表达式了，我们还是用大模型完成这个工作的第二个步骤，所有的prompt仍然一样：

这个“春节每天各项人次.txt”包含了从2024年1月30日至2024年3月1日每天各种交通方式的春运客运量信息，请中读取每一天的信息，并整理成一张表格，要求包括以下几项信息：
1，当天日期
2，当天的铁路客运量、比2023年同期多或者少的百分比、比2019年同期多或者少的百分比。
3，当天的公路客运量、比2023年同期多或者少的百分比、比2019年同期多或者少的百分比。
4，当天的民航客运量、比2023年同期多或者少的百分比、比2019年同期多或者少的百分比。