在创建强大人工智能系统的竞赛中，许多开发人员只关注最新的模型。但真正的进步取决于一个更严谨的过程：了解人工智能失败的原因，并知道如何解决它。这种做法被称为故障分析，是构建有效的 „代理 “人工智能--自主执行多步骤任务的系统--的基石。让我们来揭开这项重要技能的神秘面纱，探索大规模语言模型（LLM）的快速发展是如何改变游戏规则的。.

为什么漏洞分析没有想象中那么困难？

想象一下，你正在创建一个用于 „深度研究 “的人工智能，它可以就复杂的主题撰写详细的报告。它的工作分为几个步骤：生成搜索查询、从网上检索结果、选择来源，最后撰写报告。如果生成的报告质量不佳，错误可能出在这些步骤中的任何一个。.

故障分析就是打开 „引擎盖“，检查每个步骤或 „足迹“，看看与经验丰富的人类相比，人工智能在哪些方面存在不足。这个 „人类水平性能“（HLP）基准就是您的指南。.

一个常见的误解是，这需要从第一天起就付出巨大的正式努力。事实恰恰相反。您可以从非正式地审查一两个失败案例开始。人工智能是否生成了毫无意义的搜索词？这就立即指出了第一个需要改进的地方。随着系统的成熟，您可以将其扩展为严格的数据驱动流程，但最重要的是最初的洞察力。.

Klíčový vhled: 从小事做起。对一些挫折进行非正式的快速审查，就能发现最关键的瓶颈，从而将工程工作的重点放在最重要的地方。.

新自由：重新思考工作流程设计

传统上，重新设计增量人工智能流程是一项艰巨的任务。但是，由于 LLM 的飞速发展，开发人员现在有了一个强大的新选择： 让更聪明的法律硕士做更多工作，从而简化工作流程. .这往往意味着 „拆除脚手架“--拆除曾经为指导能力较弱的模型所必需的中间步骤。.

例如

  • Dříve: 其中一个人工智能本可以在另一个人工智能使用这些文本编写信息之前，通过移除广告和导航栏来清理杂乱的网站。.
  • Nyní: 更智能的现代 LLM 通常可以直接理解无序 HTML，让您可以完全省去清理步骤。这不仅简化了流程，还消除了额外步骤可能导致的错误。.

这种改变至关重要。如果错误分析表明一连串步骤无法正常工作，即使每个步骤看起来都没有问题，这可能表明工作流程过于僵化。解决的办法不是修复某个步骤，而是重新设计流程，让人工智能拥有更多的自主权和灵活性。.

前进之路

严谨的错误分析与重新思考工作流程的意愿相结合，是取得成功的有效秘诀。通过系统地找出人工智能的不足之处，并使用功能日益强大的 LLM 来简化其任务，您可以创建出不仅功能更强大，而且更高效、更优雅的代理系统。掌握这种评估和重新设计的迭代过程是高级人工智能开发团队与众不同之处。在人工智能的世界里，知道哪些地方需要修正并勇于返工是最终的竞争优势。.

The Batch - DeepLearning.AI 作者：Andrew Ng / gnews.cz - GH