人工智能的发展还有一段较长的路要走，现有人工智能研究主要侧重于性能方面的突破，但可靠性是一个不可忽视的问题，下面列举几个典型问题：

（1）第三方刻意攻击对语音识别准确率的影响
    据《新科学家》报道，来自以色列巴伊兰大学的研究人员和 Facebook 的人工智能团队已经表明，可以对音频剪辑进行细微地调整，使语音识别系统理解出与音频完全不同的内容，但是这些细微的调整并不会影响人类对音频的正确理解。
    实际上，这样的情况并不仅限于语音识别，在图像识别等领域同样存在。在训练人工智能系统的过程中，在正常的输入样本中故意添加细微的干扰以误导机器学习算法，使人工智能系统产生错误的结果，这种添加了细微的干扰以误导机器学习模型的样本，就是“对抗样本”。

（2）第三方刻意攻击对无人驾驶可靠性安全性的影响
    无人驾驶安全性应该是无人驾驶研发的突出问题。如果有人恶意使用对抗样本，它可以用来欺骗自动驾驶汽车，使其不能识别道路上的停车标志，进而引发事故；可以欺骗语音识别系统，让系统听到虚假的命令；可以将一只猫识别成一条狗；可以将恶意软件误分类为良性软件，也可以阻止闭路电视监控系统在人群中找出嫌犯。而由对抗样本引发的欺骗策略也就是常说的“对抗性攻击”。

    Cissé 发现，自动驾驶汽车中的图片分类算法可能会忽略行人和停放的车辆。他说：“我认为我们应该担心我们如何确保汽车中使用的神经网络是安全的”。 Cissé 的团队将少量的数字噪音引入到一个人的录音片段，并将该录音播放给谷歌语音（Google Voice）这款语音识别应用程序。在这个对抗性的示例中，该应用程序听到了一个与事实完全不同的句子。
    但是，并不是所有人都认为对抗性攻击将会在现实世界中发挥作用。伊利诺伊大学香槟分校的大卫?福塞斯（David Forsyth）建立了一个经数字化改变的虚假的停车标志试图欺骗这种算法。
    虽然没有证据表明对抗性攻击已经被用于现实世界中，但是牛津大学的 Marta Kwiatkowska 说，这只是时间问题；机器学习可能会被用于攻击系统。需要做出更多的研究去发明新的机器学习技术抵御对抗性攻击。
    或许最有趣的是，找到一种避免人工智能系统被对抗样本欺骗的方法是相当困难的。正如我们过去解释的那样，我们并不理解深度神经网络的内在工作方式，这也意味着，我们并不知道为什么神经网络能够接受声音片段和图像中的细微特征，而人类却不能觉察到。

（3）信息内容的可靠性
    基于大数据的智慧城市，离不开网络信息的提取与支撑。现代社会网络信息极度丰富，作为当前网络信息检索的主要工具，搜索引擎已成为人们访问互联网资源的有效途径。其中，用户反馈是算法优化、系统维护和性能评估的重要手段，也是网络搜索和知识挖掘的重要研究领域之一，已越来越受到研究人员和系统开发者的关注。作为用户反馈的传统模式，手工评价需要耗费大量的人力和时间资源，难以大规模地实时开展。因此，如何有效挖掘和利用网络用户检索反馈的群体智慧信息已受到研究界的广泛关注。
    真实网络检索环境下的用户点击行为信息往往含有大量噪音，其中掺杂了包括网络爬虫等非正常的网络用户。Joachims展开了一项称为眼睛跟踪研究，结果表明个体用户的点击信息由于搜索引擎结果排序、内容展示等多方面原因而具有偏向性，搜索查询和点击文档之间没有明显的绝对相关性。上述相关研究表明，有必要对网络用户的行为日志进行分析，进而提炼网络用户点击的有效信息，过滤噪音。当前用户行为信息的研究方法主要基于大规模用户点击行为的宏观统计分析，此类分析方法适用于处理用户访问频度高的热门词查询，不适合处理用户访问量较小但数量众多的长尾词查询，也不适合应用于用户的个性化搜索，针对不同兴趣的用户有区别地返回搜索结果。 
    上面列举的三个问题是仅仅近期网络上关注的，在此仅作抛砖引玉之用。任何产品的研发，质量与可靠性方面是产品的核心竞争力之一。若要提高人脸识别、语音识别、无人驾驶汽车等人工智能产品的可靠性水平，不仅仅要关注硬件，更为关键的将是软件。
参考了以下文章：
https://www.technologyreview.com/s/608381/ai-shouldnt-believe-everything-it-hears/
http://www.sohu.com/a/168112664_505819