解决软件质量管理问题

Share

|

在其能力，作为一个独立的软件测试实验室， qualitylogic ，公司已与信息系统组无论是中小企业还是大企业，并以软件和系统公司。 这方面的工作提供了一个独特的机会来观察的斗争，组织经过在试图解决他们的软件产品质量和质量管理方面的问题。 这篇文章介绍了导致观察与思考基本的质量管理问题，也是一个新的解决方案，为业。

盈利和亏损的秘书长（规划及地政）经理，这里提到的，作为企业管理者，不清醒地认识或价值的软件质量管理。 软件公司和工程未能如期交付高质量的产品，因为他们没有把质量管理作为一项战略，关键环节的产品开发过程，即等于要求，设计和代码的发展。

基本的问题是，软件质量管理，是不妥当的"国有"的组织。 相反，因为它历来被降级到软件质量保证功能，它被认为是技术性的，因此，很少有企业管理者都认为，直接"拥有"它。

在对传统产业的企业，产品质量管理，质量保证和质量控制是当做重大的公司职能，向主管业务经理。 但是，只有极少数软件企业还没有采用这种办法。 的确，软件业就是这样一个最近的"纪律" ，即产品质量问题的管理仍是一个谜，尤其是经营管理者，没有软件培训或经验。

软件质量问题-确保质量的软件产品交付给客户-是不是一个技术性的。 它是通过结合良好的客户理解（已发展成要求） ，以及良好的产品发展进程。

有很多优秀的软件开发流程和技术等，都是证明和资料。 软件业，也知道如何建立高品质，可靠的产品，以满足特色，成本和时间表顾客的需要;那是很容易维护和升级。 这是一个神话，产业需要更好的程序或工具，以解决质量问题，其中h短裙，真正的问题，企业经理人的责任。

不幸的是，业界通常没有这种结合的学科布局和组织结构需要不断提供成功的产品;即是一个明确界定，执行良好的质量管理职能。 这方面的责任，必须立足于企业经营管理的水平。 质量问题仍是没有解决之前，这些经理人觉得漫长而艰辛的有关质量要求，为他们的产品，直到他们清楚地传达他们的结论，直到他们

积极监督产品质量，并直到他们愿意采取行动，这方面的资料，以执行其政策。

任期及地政经理人是指行政机关承担最终的责任，为双方的收入和开支，为产品的组织。 在规模较大的公司，这很可能是一个部门总经理或总统。 在规模较小的公司，它很可能成为行政总裁或主席。 在这篇文章中的"业务经理"将取代"规划及地政经理" ，在大多数情况下，因为前者来说，是较常用的。

产品质量管理包括质量管理功能（确保品质优良的政策已到位，并强迫） ，质量保证职能（制定和实施的做法和程序，确保优质品种生产） ，质量控制功能（实际测试产品，以确保符合客户的要求） 。

软件质量政策

企业管理者有两项重要职责相对软件质量。 第一，他们必须订定并沟通清晰的政策，增强他们的人来进行这项polic耀 第二，他们必须保证这些政策的贯彻落实。 这就需要监测的质量上一个持续的基础上，并采取行动，必要时，以使该组织上轨道。

企业管理者必须认真考虑软件的质量政策，回答下列问题：

-是该组织的政策，将首先向市场投放正确的特点，在适当的价格-修理可靠性问题，后来呢？

-是它得到最可靠的产品，可在它的阶级吗？

-是它着眼于低端市场，这将接受质量较差，在一个较低的价格是多少？

-是否有临界安全或顾客的问题，求全责备，从百分之百的可靠性呢？ （这样的情况下，例如，对于医疗仪器，国防系统，以及航空电子组件） 。
-是该公司致力于以零缺陷政策？

负责确定政策，不能下放。 只有业务经理，可以设置这个政策，因为所有其他国家在该组织将让政策的影响，他们（个人）的质量目标，并设计/执行该软件。

因此，政策应携带重量的业务经理，反映了认真的考虑和承诺。 它应该有持久的价值，并应毫不含糊的，以落实政策。

有真正的价值，思考和阐述这样的政策。 质量问题，在软件行业是因缺乏明确的方向，从业务经理和意志，执行这种政策。

业务经理们只能持有其团队负责会议的质量标准，如果这些数字大致相同。 决定船舶产品只可当有明确的标准作出这样的决定。 开发团队只能受到纪律处分，造成高昂的支持令人头痛的时候，队员们被告知尽量减少支持成本，是一个至关重要的问题在当时的软件设计。 产品经理只能设定的质量目标，为一个产品时，规范的公司政策是一贯的，从日常工作和生产的产品。

正确的政策必须建立并阐述了，然后才可以执行。 企业经理人，不抓紧这个问题，是疏忽导致他的组织。

监督和执行质量方针

一旦质量方针，是落实到位，第二个主要问题是监测产品质量，以确保有关政策进行了研究。 这意味着，企业管理者要树立一个良好的质量管理功能，提供了他们的组织与良好的信息对产品质量下的发展，同时强化了他们的素质的政策。 这项政策的制定和执行已经失败，如果企业经理人，只有找到该顾客不满意后，产品已发运。

积极的企业经理人必须确定，如果产品开发，将交付时间，对预算案中，并与质量要求，以接替在市场。 罕见经理人，他们已制订正确的组织和人民正确的方向发展，需要只要求提供的资料，并会于某种形式，提供了一个准确的产品质量，在发展。

不幸的是，大多数组织和经营管理者，这是一个未实现的梦想。 虽然有可能是一个测试团队到位来衡量产品质量，它可能是埋在发展组织，即没有经验的工作人员报告，以一个没有经验的测试经理。 在这里，正确的资料，很少达到合适的人，在时间的。 而不是一个独立的功能，质量管理是一个低层次的质量控制功能，由试验队，其中有最起码的了解，公司的质量政策和问题。

是什么组织所需要的是一个质量管理小组，即：

-是独立于开发团队

-是赋予权力的业务经理-也正与该产品对日常基础

-有技能，以深入评估产品对明示或默示的标准，并能深挖，评价标准无论从任何内部消息来源都是不详-或提出国旗，如果有足够的产品需求不存在

-能提供专业的文件资料都开发团队和业务经理

-清楚地了解经理人的商务问题，并帮助解决这个看得高于一切

-运作非常有效率，并有效地

不幸的是，它是很难-如果不是不可能-对于一个商业组织把这个定义在发生内部。

大多数组织称这些准则"的要求。 "这些都是规格，该组织认为，一个产品要适应，以满足顾客的需要。

专业意味着球队也提供信息的一种形式，在时间，而在某种程度上是被视为不具威胁性的，客观的，有价值的。 有没有外表隐藏的偏见或议程。 总之，试验队是尊重和听取各方的共同遵守。 这不是一般案件与测试小组。

管理质量功能

对产品质量管理工作，是行政职能，即拥有该进程为客户提供的产品的质量要求的市场。 功能始于良好的产品要求，动作一个发展的过程，就是旨在提供可预测结果的基础上的要求，并最后提出了质量控制程序（测试） ，这证明了该产品确实符合既定的要求。

发展进程中，必须包括明确的质量保证措施，以取得成功。 然而，大多数公司高层专注于所需经费及其他方面的发展，治疗质量保证活动作为一种事后的。

少数组织有一个指定的质量管理功能，但也有一个软件测试部门。 另一些有质量保证部，他们称之为"软件质量保证" ，但实在是一个软件测试组。 永远不会，尽管抗议，相反，这种"软件质量保证"处往往是薄弱环节，在这个链条。 公司表现的症状这一弱点，以各种方式：

-软件质量保证职能本身就是典型的一个"烫手的山芋" ，没有高级经理要拥有。 该函数是到处转移，从工程，以制造业为主转为以业务和回工程。 它seesaws之间的一个集中和分散的功能，每两，三年。

-两家公司q ualitylogic记者日前采访了解散中央质量保证功能，调动工程师给产品团队，并造成了大量的破坏。 这两个组织得出结论认为，该中心职能是不工作，以及经过两至三年的努力，使之成为一项有效的商业工具。 在另一起案件中，副总统的人已被"给予"的质量保证是太高兴，另一方面它给外部公司。

-有间断性方面的管理，质量保证职能本身。 这是很难找到和保持一种良好的经理，在软件测试和软件质量保证。 相反，经理人往往迁出功能。 如果他们真的很好，他们往往雇用运走更多的钱;如果他们是无效的，他们往往是被解雇。 在任何情况下，这是难得找到稳定的管理软件质量保证和验证功能。

-没有鼓励;这是很罕见的高度尊重开发商转向软件质量保证。 事实上，正好相反。 很多公司都引以为荣的事实，即他们可以利用软件基地作为切入点和训练场地，为的发展。 最有吸引力的职业发展道路提供给国营企业的工程师，是要搬到发展。

-比如，其中一个q ualitylogic的主要客户有一个可怕的时间，保持良好的测试线索。 聘请右列的高校，他们已筛选好的方向发展技能，并搬进发展，尽快为他们成为有效试验的线索。 虽然这个工程，以及为发展组织，它不断叶片软件质量保证与一个没有经验的工作人员。

-有一个不断更替，在基地工作人员。 后果是质量保证组织永远不会成熟起来，以同样的技术水平和敬业精神，作为开发团队。 公司经常自豪能够有一个稳定的质量保证组织，为一或两年。 这是形成鲜明对比的稳定与成熟的开发团队，这通常被同为五年或以上。 因此，该公司应该认识到，质量保证团队，是不是更接近充分执行这项任务。

-使用开发商作测验。 一个主要qualitylogic客户最近需要帮助的一个关键项目。 其管理司刚刚发射了所有的国营企业的工程师，企图借此"修理"的质量问题。 该公司的国际标准化组织9000模型表示，发展商应该做的，实际上所有的质量保证和最终验收测试自己-但这个小组只是没有足够的带宽，以这样做。

-虽然开发商的确应该"自己"的工作质量，并应进行这样的质量保证活动作为单元测试和同侪审查，他们不应该成为最后的产品测试。 开发商，也甚少有动机或是特别能干，作为最终产品的检验员。 此外，失去了机会成本的拉动将它们赶走的开发工作，实在令人啧啧称奇，当分析。

-开发工程师成功地只讲质量/进度/特征问题，对软件质量保证的。 薄弱环节是一个测试或质量保证团队是无法有效地主张自己的立场;球队获得倾倒，并再次改革。

-一个规模庞大的公司目前正在辩论如何解决这个问题。 该组织拥有一支优秀的质量保证团队是否系统试验，但它的工程，根据工程的副总裁。 因为它是部分工程，质量保证团队减轻开发队伍经过时，所有进入标准前，一个产品的接受系统测试。 当然，质量保证，然后指责时，该船日期的真实性。

-虽然这种情况是很典型的，它也很容易解的。 业务经理必须确定明确的问责制，为发展和质量保证的职能，建立以质量管理职能，以强制执行的政策。

-质量保证团队是无法沟通的产品质量信息，以使决策者-主要是业务经理。 该小组可能缺乏经验，以决定在什么时候信息是至关重要的业务经理。 另外，这个队的消息，可通过过滤现有业主，通常开发的副总裁或工程。 因此，信息服务部副总裁，而不是业务经理。

-船舶日期多次推迟和延误，是因为惊喜（第一） -大家除了开发商和测试者。 该测试者没有尝试，使信息提供给企业经理人，还是不成功的，在这样做。

-产品设计或功能经常变化，造成附表单及昂贵的返工和重考，才释放。 管理接受主要设计或功能改变，因为基本过程纪律不控制，从质量的角度。 没有人强迫的早期步骤，要求核查或设计审查，以及对质量控制活动被忽视，在决策过程。 这情况多的时候有足够的质量管理职能到位。

这些问题，所有的结果，因为企业经理人没有受到足够的投资，在质量管理。 也不是他或她愿意坚持问责制，由发展集团。 在许多情况下，如何界定"足够" ，是不理解，而且对质量管理，是不设防的。 因为质量在软件当作一个工程功能，没有人真的想要自己的，是无足为奇的软件质量保证的人，也未经充分处理。

因此，软件测试和质量保证工程职位是入门级的职位用来作为训练场地，为的发展。 因为最好的人通常迁移到发展，这个延续了弱点，在质量组织。 一个组织将有困难成熟时，其所有成员都是入门级和意图运动的发展。

此外，软件测试和质量保证工程师视为二等公民。 他们不被视为良好，由于地产发展商因为一个偏见建议说： "这些还不够好代码，测试" ，或者说"那些可以，写码;那些不能，测试。 "

此外，软件测试和质量保证工程师们接济贫穷相对开发工程师，并有很少或没有职业发展道路，为前者。 因此，测试和质量保证工程师不用几乎相同的机会，为开发商增加等级和工资。

这种不公平延伸到预算的决定，这也有利于发展基地。 举例而言，如果这两个基地和发展要求的工具集的功能，该公司无法负担两者，发展通常赢了。 最后，管理，也愿意让基地受苦，如果发展注册证及其附表。

所有这些问题和指标干，从企业经理人的缺乏清醒的认识和重视软件质量职能。 这一套有问题，可被看作是文化和管理面临的挑战，企业经理人。

成功的软件质量管理

解决这一问题作了内容很简单：企业管理者必须清醒地认识到质量要求他们的产品，愿意作出适当的战略

决定，然后付诸实行优质管理的功能。 在过去，这意味着资金，是一个独立的软件质量管理小组，这并不汇报工程，并坚持纪律行为，在整个过程中。 该集团通常用来作为测量和控制机制。

传统上，行政级副总裁，董事，或经理人的素质很可能直接向业务经理。 这提供了充足的预算，经验和权力去执行质量纪律，并作为闸门的产品发布周期一致。 目前，质量是经常接触，整合质量职能纳入开发团队途经高级优秀人才，并建立明确的，适当的工艺质量控制过程中的发展。 而这可以提高本组织的执政能力，发展高品质的产品和时间，都没有预算，但并不提供一个客观，独立的意见，产品质量，以业务经理。

反过来说，强大的经营管理者，可以要求该质量功能（通常只是一个试验组）报告，直接向它们。 他们可以聘请副总裁，质量工作，直接对他们来说，并管理测试功能。 他们可以确保发展的副总裁也有意见，产品质量管理作为重要的，并认为有必要成立一个独立的质量功能。

在年底前，企业经理人必须花费大量的精力和美元，以建立一个强有力的质量保证组织。 3年前，举例来说，一个公司的领先软件公司的质量保证放在直属他。 令人遗憾的是，国营企业经理人，是不强，其中很重要的是释放出货量有显着的问题。 只有这样，才首席执行官终于明白高素质的经理人需要，并用了，又得花费数个月内找不到此人。 现在公司正处于重建阶段，还没有定论，对这一行动的成功做法。 它实际上是不寻常的一个业务经理，使这些决定。 相反，大多数继续斗争这个问题，但从来就没有真正解决。

对经营管理人员要取得成功，在软件业，无论是内部和外部质量管理的职能要求有以下特点：

-企业经理人的明确定义，并执行一项质量方针-管理局直接由业务经理，和独立的，至少在本组织内

-队伍的稳定和成熟度可见一斑薪酬，晋升机会，与团队的任期媲美发展;了解该业务的发展，成功的软件产品;赢得了尊重，从整个组织

-不断投资于通用软件测试和质量保证技术

-正在进行的投资工具和工艺改进质量保证和测试功能

-激励结构，进一步体现了双方的有效性和效率，在质量保证和测试功能

如果一家公司花资源，在满足这些要求，它可以并且将会维持一个强大的质量保证功能等同于其他要素所需要的产品，取得圆满成功。 但是，这些投资往往难以组织

没有合理的理由，他们需要持续的兴趣，由业务经理。 一个可行的解决办法是外包的部分或全部软件质量管理，软件质量保证，或者质量控制，以第三党专科在这方面的工作。

外包部分或全部方面的软件质量管理职能，是一个新兴的态度来处理质量问题，已演变自然。 这个解决方案认识到，质量功能是一定要做的好，但不必是一个战略性的内部能力。 质量管理，质量保证和试验包括一门学科，具有完整的一个通用方法，过程和工具。 公司必须确定它是否是一个好的战略上的投资，为他们增加外判，或以发展和维护本界别的专业知识本身-这是一项昂贵的命题。

演变的软件质量管理

商业方面的软件质量是不断变化的，随着硬件平台，软件语言，软件开发工具，该进程的界定和建设的软件产品。 有至少5个独特的模式，组织实施软件质量管理的职能：

1 。 开发商做他们自己的基地。

2 。 测试或质量保证工程师们正在整合内部开发团队。 3 。 一个独立的质量保证组属于该工程部经理或副总裁。 4 。 一个独立的质量保证组属于一个副总裁以外的其他工程副总裁。

5 。 一个独立的质量保证组织直接向高级业务经理（或一个副总裁的素质的人，然后报告给他或她） 。

各种具体的解决方法，并不令人惊讶，因为该行业仍在奋力弄清楚这个问题。 如软件业一般来说，每家公司似乎热衷于发明它自己的模式，为软件质量管理。 因为所有的模式，是基于对自己动手做的方法，他们受到了所发现的问题。 外包软件质量保证活动，是一个新兴的模式，提供了业务经理，一个可行的办法来解决产品质量和优质麻nagement问题。

从历史上看，质量保证外包构成的低成本，快周转补助金，以内部测试工作。 几个外包公司的蓬勃发展提供了兼容性测试软件对各种硬件平台和复杂成分。

通常情况下，客户端软件公司将晚点发展，缺乏在内部资源或设备，为快速周转的兼容性测试。 所以他们转向软件质量保证外包，承包和独立的测试实验室，为具体的测试项目。 而这所提供的独立性和客观性，它的目的是在解决了质量保证经理人的人员编制短缺，而不是一个企业经理人的基本素质，管理问题。

这个早期模型的外包测试正在迅速演变为大公司设法提高自身素质过程。 利用外包不仅加快，但

变，就是一个例子，由一个外包关系，以领先的个人电脑制造商。

在1995年，个人电脑制造商开始有系统地进行调查测试实验室，其中，然后用小，非临界项目，没有足够的人员，在内部。 有审查后，每个项目的早期测试本地化软件版本。 审查确定如何改进测试及通讯工艺对下一个项目。 因此，随着时间的推移，制造商开发训练有素，值得信赖的人提供给它的测试组织溢出工作。 该组织还计划外包一部分工作，并制定了一套值得信赖的，长期的供应商。

到1997年，制造商已决定不成长，其内部测试资源，在必要的利率，以应付爆炸的工作量。 相反，它形成了一个集团内部，其唯一职能是管理的软件测试外包活动。 一项关键战略是鼓励最佳供应商开放本地实验室，以改善重点和通讯等方面。

1998年初， qualitylogic ，公司开设了一个专门的实验室，作为一家合资企业另一家公司靠近制造商的设施。 这个实验室的一个分水岭，为测试外包行业中两个关键的途径。 首先，它是第一家，例如一间本地的软件测试实验室致力于与一个单一的客户，客户的邀请。 其次，该实验室被完全配备当地的人，其中许多厂商已经受聘为软件质量保证工程师。 新的实验室经理人，曾经率领制造商的测试中心，但也带来与他的一些高级软件测试工程师。

进一步演变，已经在过程中，而公司是完全外包部分或全部方面的软件质量管理职能。 举例来说，有几个组织已聘请qualitylogic建立和管理自己的整个软件质量功能。 卖方借用该公司现有的员工或新的工作人员，视需要的人，然后成为不可分割的一部分客户端的组织。

车队工程对客户站点，并直接向业务经理或通过指定的代表。 供应商的质量保证经理，负责该业务的经理，为确保产品和工艺质量的界定预算。 事实上，厂商的质量保证经理，也是该客户的业务经理，为特定的软件质量保证活动的参与。

在所有情况下，厂商有直接的公司对公司的业务关系，与企业经理人。 或者换句话说，卖主是解决企业经理人的问题，在同一时间，因为它解决了工程组织的质量控制问题。

这种模式打开了大门，为外包基地组织是一个有影响力的参与者，在客户端的内部发展过程和工具的改善措施。 卖方不仅进行了实际的测试活动，而且还提供了客户与质量保证服务。 吨，他的活动包括实施既是一个缺陷跟踪及配置管理过程（和工具） ，以及规划和实施其他过程改进行动。

而一些公司已签约向专用的软件测试团队对客户的网站上，这些公司通常都没有专门的软件测试公司，也从未把专门的实验室，在地方没有具体的长期合同。

未来的软件质量管理

在确定今后的管理软件质量的功能，早期的成功，标志下一个合乎逻辑的发展是外包整个基地的功能，或者一些适当的一部分。 这种外包模式可以直接面对危急的文化和管理问题，确定了，在这篇文章中。 它也可以提供更好的质量和节省成本，为软件企业提供服务。

这些优势来自于特色的外包基地队。 第一，很多文化的问题解决了，因为工作人员同属一家公司，其主要的重点是软件质量保证的。 在这样的一个组织，该软件质量保证工程师是一个"第一级"公民，与所有的地位和优势顾名思义。 有一个明确的职业发展道路，与相关的培训和财政奖励。 稳定和成熟的可以发展，因为国营企业的工程师是出于得以留在该组织，并发展成为一流的人才。

第二，质量保证小组成立后，作为利润和亏损中心与本国主管宝洁l或业务经理（谁是供应商的质量保证马nager ） 。 因此，该小组已获利的动机，做一个更美好和更有效的工作，提供用户与软件质量保证的服务。

虽然顶级的内部质量保证球队往往热诚和自我牺牲，它是非常困难的一间公司，以财政奖励他们时，他们做一件伟大的工作。 质量保证，是不是一个典型的职业道路，以高级管理职务，保证和薪金水平普遍低于上限者的发展。 甚至当一家公司提供了一个奖励计划或股票期权等奖励只是间接联系实际的效益和效率的国营企业团队。

相反，当一个质量保证小组成立后，作为自己的规划及地政中心，它有一个非常具体的财政动机，找出最有效的方法，以最有效地执行其任务。 而一项内部质量保证经理人诱因不大，以终止"温度" ，当工程完成后，一个p及l经理与奖金挂钩的财务结果确有此奖励办法。 当设备不再需要履行一个测试任务时，内部质量保证小组通常保持它为一些未定义日后使用。 一个p及l经理，也不能不断非生产性设备列为费用。 最重要的是，实现利润-动机组与一个有经验的管理团队将找到创造性的方式来提高效益，使顾客高兴，并提高其效率的活动，那就是-降低成本。

数十名基地组织浪费成千上万美元小时的时间试图自动化测试-只有失败。 不仅球队缺乏经验，需要成功的，但是没有够严重的后果，导致失败。 既不因素，在经营外包基地队。 成本的失败，反映在球队的支票，及与单一客户，是摆在显着危险。 A broken promise to automate testing can cause serious mistrust, ending in potential disaster for both the client company and the outsourced QA team.

The third critical factor is the direct relationship between the outsourced QA team and the business manager of their “parent” company (i.e., the customer that the QA team came from). This alone solves both critical problems of software business managers. The very act of making the QA team independent and directly responsible to the business manager (instead of an engineering or other vice-president) places strategic emphasis on software QA. In addition, the business manager has an effective mechanism for monitoring the quality of products under development, in order to take decisive actions.

Through its direct relationship with the business manager, the QA team can also influence the overall software development process. The relationship offers power to “push back” development managers and teams who are shortcutting their own processes. This cannot happen effectively when QA reports to the same vicepresident as development.

The QA team can also suggest improvements to the development process that will enhance product quality and increase effectiveness. For example, programming hooks can be added to support test automation, or the product architecture standards can be improved to enhance testability and maintenance.

Finally, outsourcing software QA can result in lowered overall costs for the client company. These take the form of improved quality and lower costs for customer support, of interim fixes and releases, and of better customer retention. In addition, because a profit -oriented QA team is more cost conscious than an internal team, the software QA organization’s cost savings can be passed along to the client. Finally, in the new model of full QA function outsourcing, costs can be lowered even more, as there is more emphasis on process improvement for the entire development cycle.

NOTES

1.  The term P&L manager refers to the executive ultimately responsible for both the revenue and expenses for the product organization. In larger companies, this is likely to be a division general manager or president. In smaller companies, it is likely to be the CEO or president. In this article “business manager” will be substituted for “P&L manager” in most cases, as the former term is more commonly used

2.  Product quality management consists of the quality management function (ensuring that good quality policies are in place and enforced), the quality assurance function (developing and implementing practices and processes that ensure that quality products are produced), and the quality control function (actual testing of products to ensure conformance to customer requirements)

3.  Most organizatio ns call these criteria “requirements.” These are the specifications that the organization believes a product must meet in order to satisfy a customer need.

4.  Professionally means that the team provides information in a form, at a time, and in a way that is perceived as non-threatening, objective, and valuable. There is no appearance of a hidden bias or agenda. In short, the test team is respected and listened to by all parties. This is not usually the case with test teams.

5.  While a number of companies have contracted to put dedicated software test teams on a customer’s site, these companies have typically not been dedicated software testing companies, nor have they put dedicated labs in place without specific long-term contracts.