[已解决]如何自动实现1000个型号的比价结果（悬赏）

棋行天下黄

如何自动实现1000个型号的比价结果，原来上班一两个月搞一次和京东，苏宁网上比价，每次上千个型号，害我每次加班到凌晨2-3点，现在突然每周都要比价，跪求大神将比价结果自动填在表上，京东，苏宁都要求和京东，苏宁自营的比价，要求是武汉地区的价格，没有该型号，返回无或者0，具体输出结果见附件，比价要求见附件，只要能不加班，有完整程序愿意100元红包酬谢，救命啊，每周这样手工查，累死人呀！

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2016-12-21 21:44:18

棋行天下黄 发表于 2016-12-21 21:38
谢谢建议，估计很难

你的产品名称和京东、苏宁上的一致么？
如果一致的话，可以直接用你的产品名称去京东和苏宁上搜索啊，然后把搜索结果全部爬取下来，这是最容易的。
如果名称不一致，而且没有固定规律的话，那么至少第一次需要人工把你的产品名称对应到京东和苏宁的产品上，然后就可以用上述方法搜索爬取了。

跳转到最佳答案楼层

deadofpeople

2种方案：
0：试试将所有商品型号对应在京东和苏宁上的编码给统计出来（归类），然后去分别去爬取各自的价格（这种前期需要手工找到电商上商品的编码）
1：可以模拟人工去访问京东和苏宁，直接将商品型号放在搜索框中，拿到搜索结果匹对正确的商品，然后打开商品页面，再获取价格（这种方式较复杂需要用到第三方库）

以上方案纯个人理解

棋行天下黄

谢谢建议，估计很难

jerryxjr1220

棋行天下黄 发表于 2016-12-21 21:38
谢谢建议，估计很难

你的产品名称和京东、苏宁上的一致么？
如果一致的话，可以直接用你的产品名称去京东和苏宁上搜索啊，然后把搜索结果全部爬取下来，这是最容易的。
如果名称不一致，而且没有固定规律的话，那么至少第一次需要人工把你的产品名称对应到京东和苏宁的产品上，然后就可以用上述方法搜索爬取了。

猿人

我是来围观的

棋行天下黄

jerryxjr1220 发表于 2016-12-21 21:44
你的产品名称和京东、苏宁上的一致么？
如果一致的话，可以直接用你的产品名称去京东和苏宁上搜索啊，然 ...

关键是如何全自动完成1000个，手工一个个爬取，我还不眼睛看了自己填上去呀

海边浪花

厉害

jerryxjr1220

棋行天下黄 发表于 2016-12-21 22:27
关键是如何全自动完成1000个，手工一个个爬取，我还不眼睛看了自己填上去呀

所以关键是你的产品名称是否能直接匹配到京东和苏宁的产品，而且就算要手动调整也是只要调第一次，以后就可以自动爬了，比你每次都眼睛看还是要省力啊

棋行天下黄

型号是经常变的呀，下次是另外2000个

jerryxjr1220

棋行天下黄 发表于 2016-12-22 19:05
型号是经常变的呀，下次是另外2000个

如果型号不能直接搜索匹配京东和苏宁的数据，也没有一定的规律的，那就需要人工判断搜索出的数据哪个才是你要的数据，这样确实还不如你自己确认比对了。
另外，还有一个高级方法，使用机器学习，让计算机"学会"判断，不过这要用到神经网络方面的知识，我还没有学那么深，不过python到确认有这方面的第三方库可以用。

jerryxjr1220

要不然就规范你们自己的产品名称，使他们能直接匹配到京东和苏宁的产品，这是最方便的办法。
所以，规范产品名称很重要，哪怕在Excel里不规范的关键词你都搜索不到你想找的内容。

jerryxjr1220

jerryxjr1220 发表于 2016-12-23 07:32
如果型号不能直接搜索匹配京东和苏宁的数据，也没有一定的规律的，那就需要人工判断搜索出的数据哪个才是 ...

现在我应该可以确认基于神经网络的机器学习可以做到这一点，而且可以做得很好^_^