Hallo erstmal,aus Jux und Dollerei habe ich mal in den verschiedensten MSA-Systemen, wie B&W, BüroV und anderen zur Verfügung stehenden Excel-Sheets, die gleichen Messwerte eingegeben (10 Teile, 2 Prüfer, 3 Durchgänge).....und siehe da......immer unterschiedliche Werte: G R&R, EV, AV und PV.
Auch die Konstante K3(99%) ist für 10 Messwerten bei den versch. Systemen sehr unterschiedlich (z.B. 0,3146 und 1,62)
Die ermittelten R&R-Werte liegen von 8 bis 16% = annehmbar bis bedingt annehmbar!
Wer hat Lust mit mir ein MSA-Benchmarking durchzuführen?
Würde meine Messwerte dann zur Verfügung stellen und von Euch überprüfen lassen bzw. die mir zur Verfügung gestellten Messwerte mit meinen vorhandenen Systemen auswerten.
Nun, wer hat dazu Lust?
Gute Zeit!
Qualyman - Qualitäter aus Überzeugung und Leidenschaft, auch wenn´s mal Leiden schafft!
info ad quality minus first dot de
Antworten:
Hallo qualyman,
ich weiß schon, warum ich Excel-Auswertungen schwierig zu validieren finde ;-)
Deshalb werd ich auch nicht mit Excel Mess-Systeme bewerten, sondern mit statistischer Software. Du darfst mir gerne die Messwerte schicken, dann mach ich da mal eine MSA-Auswertung zu. Das hört sich auf jeden Fall nach einem großen Spaß an.
Viele Grüße
Barbara
_____________________________________
Fakten hören nicht auf zu existieren, wenn man sie absichtlich übersieht.
(Aldous Huxley)
Hallo Babara,
ich wusste, dass Dich ein solcher Vergleich stark interessieren wird und Dir dazu noch Spaß bereite.
Wer macht noch mit?
Gute Zeit!
Qualyman - Qualitäter aus Überzeugung und Leidenschaft, auch wenn´s mal Leiden schafft!
info ad quality minus first dot de
Hallo qualyman
ich hab so ein Sheet erstellt, steht auch bei Barbara unter
http://www.bb-sbl.de/downloads/vorlagen.html
"Prüfmitteleignung 2"
Klopf doch mal Deine Daten rein und sag mir, wie ich liege. Man lernt nie aus!
Mich interessiert natürlich Dein Bench.
Kannst Du auch sagen, auf welcher Basis Du die Daten beurteilst? Ist es allein das Streuen der Endergebnisse oder hast Du eine Musterlösung zu Fuß gerechnet unter Angabe aller Konstanten und Zwischenergebnissen?
Hast Du auch schon getestet, wie die Pakete reagieren, wenn die Meßdaten nicht streuen?
Gruß von der schönen blauen Donau
Fritz
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
Hallo Qualyman,
ich habe im Moment 2 verschiedene MSA-Auswertungstools.
Die eine ist eine Excell Anwendung die ich selber gebastelt habe, die andere ist eine profesionelle Anwendung die im CAQ-System integiert ist.
Schick mir bitte doch mal deine Messwerte, mal sehen was rauskommt.
Gruss
Carlos
Hi Babara, Fritz und Carlos,
schaut´s mal in Euer Briefkastl!
Grüßle!
Gute Zeit!
Qualyman - Qualitäter aus Überzeugung und Leidenschaft, auch wenn´s mal Leiden schafft!
info ad quality minus first dot de
Hallo qualyman,
meiner Meinung nach ist dein Benchmark-Vorschlag ein hoffnungsloses Unterfangen
Gründe hierfür:
Alleine für die R&R-Methode (Methode 2)gibt es hunderte, ich betone hunderte von zulässigen Berechnungsmöglichkeiten
Diese variieren aus folgenden Gründen:
1.Art der Streuungsermittlung
2.Interpretation der Streuung
3.Berechnungsmethoden (Varianz, ANOVA, Differenzmethode, etc)
4.Bezug (Toleranz, Prozessstreuung)
5.Formelzusammensetzung
6.Vetrauensbereiche
7.Verteilungsmodelle
8.Konstantentabellen
etc.
Dazu kommen noch die kulturunterschiedlichen Philosophien (z.B: MSA<->QS9000 im angloamerikanischen Sprachraum und die unterschiedlichsten Firmenrichtlinien der Automobilhersteller und deren Zulieferer)
Erschwerend wir die Vegleichbarkeit noch durch selbstgestrickte "Excel-Sheets", Fehlbedienung und Falscheinstellungen in diversen Auswerte-Softwarepaketen, Fehlinterpretation der Ergebnisse etc.
noch was zum Schluss
nicht entmutigen lassen und deshalb:
Viel Glück beim Benchmark
Black
Hallo qualyman,
glaub black hat rechtesgibt eine ganze Menge anerkannten Verfahen
wir verwenden z.B für die MSA z.Z. vorwiegend die softwarwe q-das, da dies von unseren Kunden verlangt wird. Allein in dieser software gibt es viele Auswertestrategien!
Kannst mir aber gerne mal Deine Werte schicken!
Grüße
Frank
Hallo zusammen,
es geht doch gerade darum, die Unterschiede zwischen den Auswertungsstrategien zu finden bzw. mal nachzuschauen, wie unterschiedlich die Ergebnisse bei verschiedenen Methoden sind.
Dass es Unterschiede gibt, ist klar. Wenn ich qualyman richtig verstanden habe, dann geht es darum zu schauen, ob es deutlich andere Ergebnisse in der Interpretation gibt oder ob - unabhängig von der Methode - am Ende etwas sehr Ähnliches herauskommt.
Viele Grüße
Barbara
_____________________________________
Fakten hören nicht auf zu existieren, wenn man sie absichtlich übersieht.
(Aldous Huxley)
Hallo Qualyman,
ich habe eine Excel Datei die ich für Gage R&R Auswertungen nutze. die wurde gemäß den Vorgaben aus der MSA 3rd Edition erstellt.
Mit dieser Vorlage arbeiten wir schon einige Zeit und die Vorlage ist auch bei den Kunden (Elektrotechnik und Automobilisten) anerkannt und akzeptiert.
Schick mir mal Deine Werte zu, dann schau ich mal was bei mir rauskommt.
Gruß
QU
Hey Black
Der Begriff Benchmark (= Maßstab) bzw. Benchmarking (= Maßstäbe setzen) bezeichnet ein formalisiertes Konzept, um Verbesserungsmöglichkeiten durch den Vergleich von Leistungsmerkmalen mehrerer vergleichbarer Objekte, Prozesse oder Programme zu finden. (Quelle: Wikipedia)
Gerade wegen der, von Dir angeführten Gründe ist es so wichtig, dass man sich einen Überblick verschafft und Verbesserungsmöglichkeiten erkennt. So bewertet die QS-9000 3. Auflage die Fähigkeit nicht mehr über den Zufallstreubereich ( 95% - 99% - 99,7% ??) sondern über die Standardabweichung. Dadurch wird das Verfahren robuster gegen Fehlinterpretationen. Darin sind auch die von qualyman angesprochenen Unterschiede der K-Faktoren zu sehen. Bleibt zu hoffen, dass in geraumer Zeit der Wildwuchs an Methoden ein Ende hat und mit wenigen Verfahren nachweisbar ist, das die Messwerte das Vertrauen verdienen, dass man ihnen schenkt.
Gruß von der schönen blauen Donau
Fritz
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
Hallo Fritz,
ich gebe dir in der Sache ja Recht
Ich wollte mit meinem Beitrag auch nur darauf hinweisen, dass es mit ein paar Musterauswertungen die man hin und her schickt eben nicht getan ist.
Bei der Zielstellung ist doch eine systematische Vorgehensweise unabdingbar,
um auch wirklich vergleichen zu können Ansonsten bekomme ich doch nur Teilergebnisse, aber keine Lösung.
Aber ich will dich ja auch nicht entmutigen
Deswegen viel Spaß beim Benchmark
Mein persönlicher Ansatz zu diesen Thema:
1.sich selbst schlau machen (vielleicht auch bei Wikipedia >>kleiner Spaß muss sein)
2.alle weiteren Beteiligten in der Organisation schlau machen (Aus-und Weiterbildung, Schulung etc.)
3.Firmen-Standard festlegen, der möglichst viele Forderungen abdeckt und diesen dokumentieren
3.pragmatische Durchführung mit guter validierter Software
4.wenn`s wirklich nicht mehr anders geht, dann halt auch mal kundenspezifisch auswerten (sollte die Ausnahme bleiben)
5.sich ständig schlau machen, z.B. über dieses Forum
6.sich freuen wenn das alles klappt und man dadurch eine Baustelle weniger hat
Grüße vom schönen Main
Black
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
[/quote]
Hallo zusammen,
ein kurzer Bericht über meine Erfahrung zum Thema Benchmark.
Ich engagiere mich seit vielen Jahren in einem DGQ Regionalkreis. In diesem Zusammenhang führten wir vor geraumer Zeit 2 Ringvergleiche durch. Bei messtechnischen Ringvergleichen werden die Randbedingungen sehr genau festgelegt, es werden Normale vermessen, deren Ist- oder Referenzwerte aus DKD- bzw. PTB-Kalibrierungen bekannt sind. Namhafte Unternehmen (keine Garagenfirmen) stellten ihr messtechnisches Können an den für sie unbekannten Objekten unter Beweis. Als Ergebnis wurden mir die vereinbarten Kenngrößen (z.B. Durchmesser oder Rauheitswerte) mit den selbst gewählten Unsicherheiten gemeldet. Das Endergebnis war ernüchternd. Beim Vermessen von zylindrischen Lehren (Ring und Dorn) war rund ein Drittel der gemeldeten Ergebnisse nicht mit dem Referenzmaß verträglich, unterschieden sich also signifikant.
Nun dachte ich, dies würde die Unternehmen aufrütteln. Weit gefehlt. Die Abschlussberichte wurden abgeheftet, das Thema war erledigt. Dass die Möglichkeiten, aus diesem Benchmark zu lernen, genutzt wurden, ja werksintern angeregt oder gar realisiert wurden, davon habe ich nie etwas gehört. Qualitätsnachweise werden häufig noch damit erbracht, in dem man auf die im Prospekt ausgewiesene Messunsicherheit und den Preis des Messgerätes verweißt. Lebende Daten sind die Ausnahme oder sind, vor dem Hintergrund dieser Benchmarks, auch gar nicht erwünscht!
Gruß von der schönen blauen Donau
Fritz
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
Hallo Fritz,
sind die Ergebnisse von Eurem Versuch irgendwo nachlesbar oder sind die in der Versenkung verschwunden?
Viele Grüße
Barbara
_____________________________________
Fakten hören nicht auf zu existieren, wenn man sie absichtlich übersieht.
(Aldous Huxley)
Hallo Barbara,
kein Geheimins, sie liegen auf folgender Seite:
http://www.rz.fh-ulm.de/labore/fmtlabor/qt_labor/Ringversuche/Ringversuch_01.htm
Gruß von der schönen blauen Donau
Fritz
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
Noch einmal ich!
War heute Früh etwas in Eile, daher noch eine Frage zu Deiner Frage. Barbara, kannst Du die Daten in Minitab eingeben und mit dieser Software analysieren. Würde mich interessieren, zu welchen Erkenntnissen Du gelangst.
Ich kann Sie Dir natürlich auch als Excel-File zukommen lassen, wenn das Deine Arbeit erleichtert.
Gruß aus Ulm
Fritz
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
Hallo Fritz,
danke für den Link; ich hab mir die Ergebnisse heruntergeladen, hatte aber noch keine Zeit, wirklich reinzuschauen.
Auswerten kann ich die Daten. Ein Excel-File ist auf jeden Fall hilfreich. Was soll denn das Ziel der Auswertung sein bzw. welche Frage(n) hättest Du gerne beantwortet?
Viele Grüße
Barbara
_____________________________________
Fakten hören nicht auf zu existieren, wenn man sie absichtlich übersieht.
(Aldous Huxley)
Hallo Qualiman, Barbara und andere MSA-ler,
Da die ANOVA als Standardmethode der Statistik gilt, fände ich es gut, wenn %RR- Berechnungen nur noch auf diese Weise durchgeführt würden statt nach der ARM-Methode.
Software hierzu ist doch wohl verfügbar oder kann mit relativ geringem Aufwand ?selber gestrickt? werden. Vor allem könnte auf diese Weise die Konfusion beseitigt werden, welche bei der ARM-Methode wegen den um den Faktor 5.15 verringerten K-Werten entstanden ist, weil man dann diese Werte gar nicht mehr unbedingt braucht.
Mit dem Faktor 5.15 wurde ohnehin viel Unfug getrieben. Er hat viele in der QS-9000 MSA2 und MSA3 enthaltenen Formeln unnötigerweise verkompliziert und macht (Überlegungsfehler meinerseits vorbehalten) eigentlich nur Sinn, wenn die R&R bezüglich der Toleranz zu beurteilen ist. Kommt ja noch dazu, dass bei uns in der Regel von der sechsfachen Standardabweichung ausgegangen wird.
Gemessen an der Bedeutung, welche die QS-9000 MSA3 in der Fachwelt hat, ist deren redaktionelle und zum Teil auch inhaltliche Gestaltung nach meiner Meinung dürftig bis schäbig. Wir Anwender sollten doch in der Lage sein, bei intensivem Studium dieser Lektüre die Materie zu verstehen. Mir ist dies bisher nicht gut gelungen. Noch immer habe ich Unklarheiten, wie die aus den Beispieldaten berechneten Ergebnisse auszuwerten sind.
Mein Einstieg begann folgendermassen:
Ich habe in den Excel-Add-Ins die Analysefunktionen aktiviert und dort die ?Zweifaktorielle Varianzanalyse mit Messwiederholung? aufgerufen.
Um ein ?Benchmarking? durchzuführen, übernahm ich von Seite 101, Abbildung 12 die Beispieldaten und führte die ANOVA durch.
Unter Verwendung der Formeln auf Seite 187, Tabelle 16, ermittelte ich aus den Mittleren Summen-Quadraten die Varianzen, dann die geschätzten Standardabweichungen und schliesslich deren prozentualen Komponentenanteile.
Die auf diese Weise ermittelten Werte entsprachen exakt den im Buch angegebenen, was für mich ein kleiner Aufsteller war.
Aber dann wusste ich nicht mehr weiter:
Auf Seite 122, in der Tabelle 11, beträgt der %RR = 27.9% der Gesamtstreuung.Darunter steht ?Das Messsystem ist für die Prozessanalyse und Prozesslenkung geeignet?. Wie kommt man auf diese positive Bewertung, wenn diese 27.9% doch sehr nahe beim kritischen Grenzwert von 30% liegen?
Oder gilt der ?R&R-Komponentenanteil der Varianz von 7.8%? Dies kann aber kaum möglich sein, da der mittels der ARM-Methode auf Seite 114, Abbildung 25 berechnete %GRR-Anteil 26.68% beträgt und nirgendwo auf die entsprechende Varianz als Kriterium hingewiesen wird.
Haben andere diese Probleme auch noch nicht verstanden und machen ?irgend etwas nach ihrem Gusto?? Ist das wohl mit ein Grund, weshalb die von Qualyman gemachten Untersuchungen derart streuen?
Wer kann mir weiterhelfen?
Nesty
Hallo Nesty,
bei der Beurteilung, wann ein Gage R&R-Wert zu hoch ist, gibt es verschiedene Kriterien. Wenn Du davon ausgehst, dass bei 30% die Grenze ist, dann sind 27,9% unter diesem Grenzwert und das Messmittel damit (bedingt) fähig.
Excel ist ja ganz nett. Für die Datenaufnahme jedenfalls. Für die Berechnung ist die Rechenungenauigkeit zu hoch! Gerade in der Statistik sind drei Nachkommastellen Rechengenauigkeit mehr als notwendig und je nachdem welche Werte Du eingibst, gibt Excel - je nach Version andere - Berechnungen aus. (Ich hab Dir mal ein Beispiel zugemailt.)
Und was mir persönlich bei den Excel-Analysen fehlt, sind p-Werte, mit denen die Einflüsse schnell und leicht bewertet werden können.
Viele Grüße
Barbara
_____________________________________
Fakten hören nicht auf zu existieren, wenn man sie absichtlich übersieht.
(Aldous Huxley)
Hallo Nesty!
Zu Deinem zuletzt geschilderten Problem:
Auf Seite 121 der QS9000:2002 werden zwei Kenngrößen in Prozent definiert.
1.) % von Gesamtstreuung - es ist das prozentuale Verhältnis zweier Standardabweichungen oder deren Vielfaches (5,15 * sigma) und dient als Kriterium für die Eignung. Typische Werte sind z.B. < 10% ?geeignet?, zwischen 10% und 30% ?bedingt geeignet? und über 30 % ?ungeeignet?. Das hängt nun ganz davon ab, in oder für welches Unternehmen und in welcher Situation eine Analyse stattfindet. Bei der Neubeschaffung von Messmitteln werden Werte über 20% als ?ungeeignet? eingestuft; andererseits gleichartige, bereits in der Fertigung eingesetzte Prüfmittel erst ab 30% als ?nicht akzeptabel? eingestuft werden. Man kann dies als ?Abnutzungspuffer? ansehen. (nähere Erläuterung finden sich weiter unten)
2.) % Beitrag zur Gesamtstreuung ? das ist der Anteil, den die Streukomponente auf die Gesamtstreuung ausübt. Auf Seite 121 kann die dritte Gleichung von unten wie folgt interpretiert werden. Die Gesamtvarianz TV^2 setzt sich zusammen aus der Teilevarianz PV^2 und der Meßverfahrensvarianz GRR^2, die wiederum aus der Summe der Wiederholvarianz EV^2 und der Vergleichsvarianz AV^2 gebildet wird. TV^2 = PV^2 + EV^2 + AV^2. Dieser Zusammenhang leitet sich aus dem Fehlerfortpflanzungsgesetz nach Gauß ab oder ist auch als Varianzaddition bekannt. Möchte man nun wissen, welchen Anteil die einzelnen Komponenten an der Gesamtvarianz haben, dann werden die relativen bzw. die prozentualen Anteile in der auf Seite 121 beschriebenen Form bestimmt.
Die 30% Schwelle für Kenngröße 1.) leitet sich nun daraus ab, dass dann der meßverfahrensbedingte Anteil GRR^2 an der Gesamtstreuung nicht größer als 9% (0,3^2) ist. Hier finden wir wieder eine Brücke zur >Goldenen Regel der Messtechnik< die ja diesen dekadischen Sprung fordert.
Wenn Du die Streuung der Berechnungskonstanten anführst, die qualyman beobachtet hat, dann auch hierzu eine kurze Erläuterung:
Bisher (also QS9000:1998) wurden Zufallstreubereiche ins Verhältnis gesetzt, um >% von Gesamtstreuung< zu berechnen. Das war in der Tat ein unglücklicher Ansatz, weil weltweit unterschiedliche Traditionen mit einflossen und andere Firmen mit anderen Ansätzen rechneten. Von 99,7% über 99% bis hin zu 95% war alles zu finden. Die Absolutwerte unterschieden sich entsprechend; bei der relativen Beurteilung hatte dies jedoch keinen Einfluss. Für die Interpretation von GRR ist der Zufallstreubereich sehr wohl sinnvoll, denn er gibt an, in welchem Bereich ein Messverfahren als ?unsicher? eingeschätzt wird. In der neuen Fassung der QS9000:2002 werden allerdings nur noch Standardabweichungswerte berechnet. Und da bei der ARM-Methode diese aus Spannweiten geschätzt werden, benötigt man dazu die W-Verteilung. Die Modalwert (?) (QS9000:2002 S 195) sind jedoch von zwei Faktoren abhängig:
1.) wie groß ist die Stichprobe, aus der die Spannweite berechnet wird?
2.) Wie viele Spannweitenwerte werden für die mittlere Spannweite verwendet?
Die mittlere Spannweite der entsprechenden Streukomponente wird dann durch diese Konstante geteilt oder mit ihrem Umkehrwert (K-Werte) multipliziert. Bei der Version QS9000:1998 war in diesen K-Werten noch der Multiplikator 5,15 enthalten. Daher hat qualyman so gravierende Unterschiede in den K-Tabellen festgestellt.
Ob nun ANOVA oder ARM, da sehe ich bei den zu analysierenden Streuproblemchen keine fundamentalen Vorteile für ANOVA. Es geht in einem ersten Durchgang ja nur um die Reststreuung EV, den Schichtanteil (Werker / Umfeld) AV und die Fertigungsstreuung PV. Wenn hier allerdings kein befriedigender Zustand vorgefunden wird, dann wird?s sehr schnell kompliziert und dann hat ANOVA eindeutig Vorteile. Um die Mitarbeiter für die Problematik der ?Messwertgüte? zu sensibilisieren, da finde ich die ARM Methode geeigneter, denn mit diesem Kochbuchrezept kann fast jeder umgehen. Ich hab bei Q4U ein entsprechendes Arbeitsblatt eingestellt, gekoppelt mit einer Vielfachstreukarte. Mit dieser Grafik kann ich jedem Interessierten erklären, worum es geht und was die Zahlen aussagen.
Würde mich freuen von Dir / Euch zu hören, wie Du bzw. wie Ihr das seht.
Gruß von der schönen blauen Donau
Fritz
__________________________________________________________
Null Fehler ist >OUT< - Null Streuung ist >IN<!
>> Den Orignalbeitrag finden Sie in unserem Diskussionsforum <<
Weiterführende Informationen: